建站
咨詢
售后
建站咨詢
新聞中心
這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
IKAnalyzer2012發(fā)布中文分詞庫
IK Analyzer是一個開源的，基于java語言開發(fā)的輕量級的中文分詞工具包。從2006年12月推出1.0版開始， IKAnalyzer已經(jīng)推出了4個大版本。最初，它是以開源項(xiàng)目Luence為應(yīng)用主體的，結(jié)合詞典分詞和文法分析算法的中文分詞組件。從3.0版本開 始，IK發(fā)展為面向Java的公用分詞組件，獨(dú)立于Lucene項(xiàng)目，同時提供了對Lucene的默認(rèn)優(yōu)化實(shí)現(xiàn)。在2012版本中，IK實(shí)現(xiàn)了簡單的分詞 歧義排除算法，標(biāo)志著IK分詞器從單純的詞典分詞向模擬語義分詞衍化。
IK Analyzer 2012特性：
- 采用了特有的“正向迭代最細(xì)粒度切分算法“，支持細(xì)粒度和智能分詞兩種切分模式；
- 在系統(tǒng)環(huán)境：Core2 i7 3.4G雙核，4G內(nèi)存，window 7 64位， Sun JDK 1.6_29 64位 普通pc環(huán)境測試，IK2012具有160萬字/秒（3000KB/S）的高速處理能力。
- 2012版本的智能分詞模式支持簡單的分詞排歧義處理和數(shù)量詞合并輸出。
- 采用了多子處理器分析模式，支持：英文字母、數(shù)字、中文詞匯等分詞處理，兼容韓文、日文字符。
- 優(yōu)化的詞典存儲，更小的內(nèi)存占用。支持用戶詞典擴(kuò)展定義。特別的，在2012版本，詞典支持中文，英文，數(shù)字混合詞語。
下載地址：http://code.google.com/p/ik-analyzer/downloads/list
原文鏈接：http://www.oschina.net/news/26788/ikanalyzer-2012
當(dāng)前文章：IKAnalyzer2012發(fā)布中文分詞庫
標(biāo)題來源：http://www.5511xx.com/article/coscsip.html
