新聞中心
[[397844]]
1、 jieba 分詞 github地址:
https://github.com/fxsjy/jieba

創(chuàng)新互聯(lián)是一家專注于做網(wǎng)站、成都網(wǎng)站建設與策劃設計,昌寧網(wǎng)站建設哪家好?創(chuàng)新互聯(lián)做網(wǎng)站,專注于網(wǎng)站建設10余年,網(wǎng)設計領域的專業(yè)建站公司;建站業(yè)務涵蓋:昌寧等地區(qū)。昌寧做網(wǎng)站價格咨詢:18980820575
“結(jié)巴”分詞,可以說是 GitHub 最受歡迎的分詞工具,支持自定義詞典,支持多種分詞模式,立志成為 Python 中最好的中文分詞組件。
2. pkuseg 分詞 github地址:
https://github.com/lancopku/pkuseg-python
pkuseg 的特點是支持多種不同的分詞領域,新聞、網(wǎng)絡、醫(yī)藥、v旅游等領域的分詞訓練模型,相比于其他分詞工具,不但可以自由的選擇不同模型,而且可以提供更高的分詞準確率。
3. FoolNLTK 分詞 github地址:
https://github.com/rockyzhengwu/FoolNLTK
FoolNLTK 分詞是基于BiLSTM模型訓練而來的,支持用戶自定義詞典,有人說它是最準確的開源中文分詞,不知道你有沒有嘗試過呢?
[[397845]]
4. THULAC github地址:
https://github.com/thunlp/THULAC-Python
THULAC由清華大學自然語言處理與社會人文計算實驗室,研制推出的具有詞性標注功能的中文詞法分析工具包。能分析出某個詞是名詞還是動詞或者形容詞。利用我們集成的目前世界上規(guī)模最大的人工分詞和詞性標注中文語料庫(約含5800萬字)訓練而成,模型標注能力強大。該工具包在標準數(shù)據(jù)集Chinese Treebank(CTB5)上分詞的F1值可達97.3%,詞性標注的F1值可達到92.9%,與該數(shù)據(jù)集上最好方法效果相當。速度較快。
跟同事聊起分詞工具,他們很多人在用的還是結(jié)巴分詞,配合用戶自定義詞典,解決常見的網(wǎng)絡詞語。你在用哪個工具呢?
分享題目:這四款Python分詞工具,你用過嗎?
文章路徑:http://www.5511xx.com/article/cojjigo.html


咨詢
建站咨詢
