FlashText 算法是由 Vikash Singh 于2017年發(fā)表的大規(guī)模關(guān)鍵詞替換算法，這個(gè)算法的時(shí)間復(fù)雜度僅由文本長度（N）決定，算法時(shí)間復(fù)雜度為O（N）。

而對(duì)于正則表達(dá)式的替換，算法時(shí)間復(fù)雜度還需要考慮被替換的關(guān)鍵詞數(shù)量（M），因此時(shí)間復(fù)雜度為O（MxN）。

簡而言之，基于FlashText算法的字符串替換比正則表達(dá)式替換快M倍以上，這個(gè)M是需要替換的關(guān)鍵詞數(shù)量，關(guān)鍵詞越多，F(xiàn)lashText算法的優(yōu)勢就越明顯。

下面就給大家介紹如何在 Python 中基于flashtext模塊使用FlashText算法進(jìn)行字符串查找和替換，如果覺得對(duì)你的項(xiàng)目團(tuán)隊(duì)很有幫助，請(qǐng)記得幫作者轉(zhuǎn)發(fā)一下哦。

1.準(zhǔn)備

開始之前，你要確保Python和pip已經(jīng)成功安裝在電腦上，如果沒有，可以訪問這篇文章：超詳細(xì)Python安裝指南進(jìn)行安裝。

(可選1)如果你用Python的目的是數(shù)據(jù)分析，可以直接安裝Anaconda：Python數(shù)據(jù)分析與挖掘好幫手—Anaconda，它內(nèi)置了Python和pip.

(可選2)此外，推薦大家用VSCode編輯器，它有許多的優(yōu)點(diǎn)：Python 編程的最好搭檔—VSCode 詳細(xì)指南。

請(qǐng)選擇以下任一種方式輸入命令安裝依賴：
1. Windows 環(huán)境 打開 Cmd (開始-運(yùn)行-CMD)。
2. MacOS 環(huán)境 打開 Terminal (command+空格輸入Terminal)。
3. 如果你用的是 VSCode編輯器 或 Pycharm，可以直接使用界面下方的Terminal.

pip install flashtext

2.基本使用

提取關(guān)鍵詞

一個(gè)最基本的提取關(guān)鍵詞的例子如下：

fromflashtext importKeywordProcessor# 1. 初始化關(guān)鍵字處理器keyword_processor = KeywordProcessor()# 2. 添加關(guān)鍵詞keyword_processor.add_keyword('Big Apple', 'New York')keyword_processor.add_keyword('Bay Area')# 3. 處理目標(biāo)句子并提取相應(yīng)關(guān)鍵詞keywords_found = keyword_processor.extract_keywords('I love Big Apple and Bay Area.')# 4. 結(jié)果print(keywords_found)# ['New York', 'Bay Area']

其中add_keyword的第一個(gè)參數(shù)代表需要被查找的關(guān)鍵詞，第二個(gè)參數(shù)是給這個(gè)關(guān)鍵詞一個(gè)別名，如果找到了則以別名顯示。

替換關(guān)鍵詞

如果你想要替換關(guān)鍵詞，只需要調(diào)用處理器的replace_keywords函數(shù)：

fromflashtext importKeywordProcessor# 1. 初始化關(guān)鍵字處理器keyword_processor = KeywordProcessor()# 2. 添加關(guān)鍵詞keyword_processor.add_keyword('New Delhi', 'NCR region')# 3. 替換關(guān)鍵詞new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.')# 4. 結(jié)果print(new_sentence)# 'I love New York and NCR region.'

關(guān)鍵詞大小寫敏感

如果你需要精確提取，識(shí)別大小寫字母，那么你可以在處理器初始化的時(shí)候設(shè)定sensitive參數(shù):

fromflashtext importKeywordProcessor# 1. 初始化關(guān)鍵字處理器, 注意設(shè)置大小寫敏感(case_sensitive)為TRUEkeyword_processor = KeywordProcessor(case_sensitive=True)# 2. 添加關(guān)鍵詞keyword_processor.add_keyword('Big Apple', 'New York')keyword_processor.add_keyword('Bay Area')# 3. 處理目標(biāo)句子并提取相應(yīng)關(guān)鍵詞keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.')# 4. 結(jié)果print(keywords_found)# ['Bay Area']

標(biāo)記關(guān)鍵詞位置

如果你需要獲取關(guān)鍵詞在句子中的位置，在extract_keywords的時(shí)候添加span_info=True參數(shù)即可：

fromflashtext importKeywordProcessor# 1. 初始化關(guān)鍵字處理器keyword_processor = KeywordProcessor()# 2. 添加關(guān)鍵詞keyword_processor.add_keyword('Big Apple', 'New York')keyword_processor.add_keyword('Bay Area')# 3. 處理目標(biāo)句子并提取相應(yīng)關(guān)鍵詞, 并標(biāo)記關(guān)鍵詞的起始、終止位置keywords_found = keyword_processor.extract_keywords('I love big Apple and Bay Area.', span_info=True)# 4. 結(jié)果print(keywords_found)# [('New York', 7, 16), ('Bay Area', 21, 29)]

獲取目前所有的關(guān)鍵詞

如果你需要獲取當(dāng)前已經(jīng)添加的所有關(guān)鍵詞，只需要調(diào)用處理器的get_all_keywords函數(shù)：

fromflashtext importKeywordProcessor# 1. 初始化關(guān)鍵字處理器keyword_processor = KeywordProcessor()# 2. 添加關(guān)鍵詞keyword_processor.add_keyword('j2ee', 'Java')keyword_processor.add_keyword('colour', 'color')# 3. 獲取所有關(guān)鍵詞keyword_processor.get_all_keywords()# output: {'colour': 'color', 'j2ee': 'Java'}

批量添加關(guān)鍵詞

批量添加關(guān)鍵詞有兩種方法，一種是通過詞典，一種是通過數(shù)組：

fromflashtext importKeywordProcessor# 1. 初始化關(guān)鍵字處理器keyword_processor = KeywordProcessor()# 2. （第一種）通過字典批量添加關(guān)鍵詞keyword_dict = {"java": ["java_2e", "java programing"],"product management": ["PM", "product manager"]}keyword_processor.add_keywords_from_dict(keyword_dict)# 2. （第二種）通過數(shù)組批量添加關(guān)鍵詞keyword_processor.add_keywords_from_list(["java", "python"])# 3. 第一種的提取效果如下keyword_processor.extract_keywords('I am a product manager for a java_2e platform')# output ['product management', 'java']

單一或批量刪除關(guān)鍵詞

刪除關(guān)鍵詞也非常簡單，和添加類似：

fromflashtext importKeywordProcessor# 1. 初始化關(guān)鍵字處理器keyword_processor = KeywordProcessor()# 2. 通過字典批量添加關(guān)鍵詞keyword_dict = {"java": ["java_2e", "java programing"],"product management": ["PM", "product manager"]}keyword_processor.add_keywords_from_dict(keyword_dict)# 3. 提取效果如下print(keyword_processor.extract_keywords('I am a product manager for a java_2e platform'))# ['product management', 'java']# 4. 單個(gè)刪除關(guān)鍵詞keyword_processor.remove_keyword('java_2e')# 5. 批量刪除關(guān)鍵詞，也是可以通過詞典或者數(shù)組的形式keyword_processor.remove_keywords_from_dict({"product management": ["PM"]})keyword_processor.remove_keywords_from_list(["java programing"])# 6. 刪除了java programing關(guān)鍵詞后的效果如下keyword_processor.extract_keywords('I am a product manager for a java_2e platform')# ['product management']

3.高級(jí)使用

支持額外信息

前面提到在添加關(guān)鍵詞的時(shí)候第二個(gè)參數(shù)為其別名，其實(shí)你不僅可以指示別名，還可以將額外信息放到第二個(gè)參數(shù)中：

fromflashtext importKeywordProcessor# 1. 初始化關(guān)鍵字處理器kp = KeywordProcessor()# 2. 添加關(guān)鍵詞并附帶額外信息kp.add_keyword('Taj Mahal', ('Monument', 'Taj Mahal'))kp.add_keyword('Delhi', ('Location', 'Delhi'))# 3. 效果如下kp.extract_keywords('Taj Mahal is in Delhi.')# [('Monument', 'Taj Mahal'), ('Location', 'Delhi')]

這樣，在提取關(guān)鍵詞的時(shí)候，你還能拿到其他一些你想要在得到此關(guān)鍵詞時(shí)輸出的信息。

支持特殊單詞邊界

Flashtext 檢測的單詞邊界一般局限于 w [A-Za-z0-9_] 外的任意字符，但是如果你想添加某些特殊字符作為單詞的一部分也是可以實(shí)現(xiàn)的：

fromflashtext importKeywordProcessor# 1. 初始化關(guān)鍵字處理器keyword_processor = KeywordProcessor()# 2. 添加關(guān)鍵詞keyword_processor.add_keyword('Big Apple')# 3. 正常效果print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))# ['Big Apple']# 4. 將 '/' 作為單詞一部分keyword_processor.add_non_word_boundary('/')# 5. 優(yōu)化后的效果print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))# []

4.結(jié)尾

個(gè)人認(rèn)為這個(gè)模塊已經(jīng)滿足我們的基本使用了，如果你有一些該模塊提供的功能之外的使用需求，可以給 flashtext 貢獻(xiàn)代碼：
https://github.com/vi3k6i5/flashtext

附 FlashText 與正則相比查詢關(guān)鍵詞所花費(fèi)的時(shí)間之比：

附 FlashText 與正則相比替換關(guān)鍵詞所花費(fèi)的時(shí)間之比：

這篇文章如果對(duì)你有幫助的話，記得轉(zhuǎn)發(fā)一下哦。

我們的文章到此就結(jié)束啦，如果你喜歡今天的Python 實(shí)戰(zhàn)教程，請(qǐng)持續(xù)關(guān)注Python實(shí)用寶典。