之前需要做一個(gè)中文命名實(shí)體識(shí)別的api，看完了一些相關(guān)論文以后覺得短時(shí)間內(nèi)自己實(shí)現(xiàn)不大現(xiàn)實(shí)，于是找了一些開源工具，其中哈工大的LTP效果是很好的，但是免費(fèi)使用限流量，需要給錢才行； NLPIR的pynlpir似乎還不能支持命名實(shí)體識(shí)別等復(fù)雜工作，只能做一些分詞之類；最后還剩下Hanlp，感謝Hanlp的作者h(yuǎn)ancks無私的將代碼開源，還提供了那么詳細(xì)的文檔。

pyhanlp只有少數(shù)功能，其他復(fù)雜一點(diǎn)的功能需要使用python調(diào)用java代碼來實(shí)現(xiàn)。
以下是api的模型部分，大多是照著文檔寫成的。
python調(diào)用java需要jpype庫(kù)，具體安裝請(qǐng)參考之前的博客：jpype安裝的簡(jiǎn)便方法

#?-*-?coding:?utf-8?-*-"""
Created?on?Thu?May?10?09:19:55?2018

@author:?wang小堯
"""import?jpype#路徑j(luò)vmPath?=?jpype.getDefaultJVMPath()?#?獲得系統(tǒng)的jvm路徑ext_classpath?=?r"./ner/hanlp\hanlp-1.6.3.jar:./ner/hanlp"jvmArg?=?'-Djava.class.path='?+?ext_classpath
jpype.startJVM(jvmPath,?jvmArg,?"-Xms1g",?"-Xmx1g")#繁體轉(zhuǎn)簡(jiǎn)體def?TraditionalChinese2SimplifiedChinese(sentence_str):
????HanLP?=?jpype.JClass('com.hankcs.hanlp.HanLP')????return?HanLP.convertToSimplifiedChinese(sentence_str)#切詞&命名實(shí)體識(shí)別與詞性標(biāo)注(可以粗略識(shí)別)def?NLP_tokenizer(sentence_str):
????NLPTokenizer?=?jpype.JClass('com.hankcs.hanlp.tokenizer.NLPTokenizer')????return?NLPTokenizer.segment(sentence_str)#地名識(shí)別，標(biāo)注為nsdef?Place_Recognize(sentence_str):
????HanLP?=?jpype.JClass('com.hankcs.hanlp.HanLP')
????segment?=?HanLP.newSegment().enablePlaceRecognize(True)????return?HanLP.segment(sentence_str)#人名識(shí)別,標(biāo)注為nrdef?PersonName_Recognize(sentence_str):
????HanLP?=?jpype.JClass('com.hankcs.hanlp.HanLP')
????segment?=?HanLP.newSegment().enableNameRecognize(True)????return?HanLP.segment(sentence_str)#機(jī)構(gòu)名識(shí)別,標(biāo)注為ntdef?Organization_Recognize(sentence_str):
????HanLP?=?jpype.JClass('com.hankcs.hanlp.HanLP')
????segment?=?HanLP.newSegment().enableOrganizationRecognize(True)????return?HanLP.segment(sentence_str)#標(biāo)注結(jié)果轉(zhuǎn)化成列表def?total_result(function_result_input):
????x?=?str(function_result_input)
????y?=?x[1:len(x)-1]
????y?=?y.split(',')????return?y#時(shí)間實(shí)體def?time_result(total_result):
????z?=?[]????for?i?in?range(len(total_result)):????????if?total_result[i][-2:]?==?'/t':
????????????z.append(total_result[i])????return?z#Type_Recognition?可以選?‘place’,‘person’,‘organization’三種實(shí)體,#返回單一實(shí)體類別的列表def?single_result(Type_Recognition,total_result):
????if?Type_Recognition?==?'place':
????????Type?=?'/ns'
????elif?Type_Recognition?==?'person':
????????Type?=?'/nr'
????elif?Type_Recognition?==?'organization':
????????Type?=?'/nt'
????else:????????print?('請(qǐng)輸入正確的參數(shù)：（place，person或organization）')
????z?=?[]????for?i?in?range(len(total_result)):????????if?total_result[i][-3:]?==?Type:
????????????z.append(total_result[i])????return?z#把單一實(shí)體結(jié)果匯總成一個(gè)字典def?dict_result(sentence_str):
????sentence?=?TraditionalChinese2SimplifiedChinese(sentence_str)
????total_dict?=?{}
????a?=?total_result(Place_Recognize(sentence))
????b?=?single_result('place',a)
????c?=?total_result(PersonName_Recognize(sentence))
????d?=?single_result('person',c)
????e?=?total_result(Organization_Recognize(sentence))
????f?=?single_result('organization',e)
????g?=?total_result(NLP_tokenizer(sentence))
????h?=?time_result(g)
????total_list?=?[i?for?i?in?[b,d,f,h]]
????total_dict.update(place?=?total_list[0],person?=?total_list[1],organization?=?total_list[2],time?=?total_list[3])
????jpype.shutdownJVM()#關(guān)閉JVM虛擬機(jī)
????return?total_dict#測(cè)試test_sentence="2018年武勝縣新學(xué)鄉(xiāng)政府大樓門前鑼鼓喧天,6月份藍(lán)翔給寧夏固原市彭陽縣紅河鎮(zhèn)捐贈(zèng)了挖掘機(jī),中國(guó)科學(xué)院計(jì)算技術(shù)研究所的宗成慶教授負(fù)責(zé)教授自然語言處理課程,而他的學(xué)生現(xiàn)在正在香港看***"print?(dict_result(test_sentence))

識(shí)別結(jié)果：

{'place': [' 武勝縣/ns', ' 寧夏/ns', ' 固原市/ns', ' 彭陽縣/ns', ' 紅河鎮(zhèn)/ns', ' 香港/ns'], 'person': [' 宗成慶/nr'], 'organization': [' 藍(lán)翔/nt', ' 中國(guó)科學(xué)院計(jì)算技術(shù)研究所/nt'], 'time': ['2018年/t', ' 6月份/t', ' 現(xiàn)在/t']}

遇到的問題：

在弄這個(gè)api時(shí)遇到了一些問題，就是當(dāng)我打開java虛擬機(jī)JVM，功能正常使用完關(guān)閉了JVM，但是再打開的時(shí)候就會(huì)報(bào)錯(cuò)，所以得一直保持一個(gè)JVM一直打開的狀態(tài)，或者重啟kernel才行。網(wǎng)上找了找也沒能找到靠譜的解決方案，這個(gè)問題只有以后慢慢解決了。如果有人知道如何處理，可以給我發(fā)私信。

文章來源于wong小堯的博客