建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)繼續(xù)向大家介紹一下nutch+hadoop配置方面的內(nèi)容，上節(jié)介紹了配置的步驟，本節(jié)介紹一下nutch+hadoop配置完成后如何使用，歡迎大家一起來學(xué)習(xí)。
創(chuàng)新互聯(lián)建站服務(wù)項目包括延川網(wǎng)站建設(shè)、延川網(wǎng)站制作、延川網(wǎng)頁制作以及延川網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，延川網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到延川省份的部分城市，未來相信會繼續(xù)擴大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！
nutch+hadoop配置使用
中文分詞：
1.對建立索引所用分詞工具的修改
將下載的中文分詞包放到lib目錄下，改名為analysis-zh.jar(當(dāng)然，你也可以不用改）。找到下面文件
src\java\org\apache\nutch\analysis\NutchDocumentAnalyzer.java
修改tokenStream方法如下
publicTokenStreamtokenStream(StringfieldName,Readerreader){
Analyzeranalyzer;
analyzer=newMMAnalyzer();
returnanalyzer.tokenStream(fieldName,reader);
}
注意：由于加入信息的分析類，你需要將該類導(dǎo)入。使用如下語句。
importjeasy.analysis.*;
2.對查詢所用分析部分的修改
nutch+hadoop配置使用總需要對查詢所用分析部分的修改。src\java\org\apache\nutch\analysis\中的NutchAnalysis.jj文件
將
改為:|
使用javacc工具將NutchAnalysis.jj生成java文件，共會生成7個java文件，將他們拷貝到下面的文件夾中替換原有文件。
src\java\org\apache\nutch\analysis
如何安裝與使用javacc？
下載javacc并解壓，然后將javacc的主目錄添加到環(huán)境變量下。進入命令行，輸入javacc，如果不出現(xiàn)不能識別該命令之類的說法，證明安裝成功。
進入NutchAnalysis.jj文件所在的目錄，輸入javaccNutchAnalysis.jj命令就會生成7個java文件了。
3.重新編譯工程文件
這里你需要用到ant工具了，那么ant工具怎么安裝呢？
ant的安裝與配置與javacc類似，下載后解壓，然后在path環(huán)境變量中加如指向ant下的bin文件夾的路徑。
使用：從命令行進入nutch目錄中，輸入ant命令，它會自動根據(jù)當(dāng)前目錄下的build.xml進行重建。重建完畢后會在改目錄下產(chǎn)生一個build文件夾。
4.重建后的文件替換
一、將nutch-0.x.x.job文件拷貝出來替換nutch目錄下的同名文件。
二、將\build\classes\org\apache\nutch\analysis目錄下的所有文件拷貝替換nutch-0.x.x.jar中org\apache\nutch\analysis目錄下的文件。
三、將nutch-0.x.x.jar文件和你的分詞包（我的是analysis-zh.jar）拷貝到tomcat中WEB-INF\lib下面。
5.重新爬行與建立索引，重新啟動tomcat即可。
nutch搜索url過濾規(guī)則：
對于每一次(由depth決定)對url進行filter，所以要搜子頁面，首頁一定要通過filter，否則搜索不到。本節(jié)關(guān)于nutch+hadoop配置使用介紹到這里。
【編輯推薦】
- nutch+hadoop配置步驟及問題解決方法深入剖析
- Hadoop配置注意事項及命令使用經(jīng)驗總結(jié)
- Hadoop配置和啟動Hadoop方法詳解
- Hadoop集群搭建過程中相關(guān)環(huán)境配置詳解
- Hadoop完全分布模式安裝實現(xiàn)詳解
當(dāng)前文章：nutch+hadoop配置使用方法簡明介紹
當(dāng)前路徑：http://www.5511xx.com/article/cceighi.html
