建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
在學(xué)習(xí)Hadoop的過(guò)程中，你可能會(huì)遇到Hadoop配置和使用問(wèn)題，本節(jié)和大家一起學(xué)習(xí)一下Hadoop配置方法，希望通過(guò)本節(jié)的介紹，大家對(duì)能夠掌握其配置方法。
Hadoop配置和使用問(wèn)題記錄
關(guān)于hadoop如何配置的教程網(wǎng)上已經(jīng)有不少了，配合hadoop主頁(yè)上的說(shuō)明，基本可以順利在多臺(tái)機(jī)器上配置好hadoop集群。這里記錄的是我在實(shí)際配置和使用hadoop時(shí)遇到的問(wèn)題，其中一些屬于hadoop周邊，如ssh配置時(shí)容易遇到的問(wèn)題和解決方法，供大家參考。我目前是在windows xp里通過(guò)cygwin安裝的hadoop，版本是0.17.2.1。
1. 安裝cygwin。在www.cygwin.com下載網(wǎng)絡(luò)安裝包，在選擇組件的時(shí)候建議直接把openssh組件選中，有些版本的cygwin似乎不會(huì)自動(dòng)安裝diffutils組件，所以需要手工選中一下，否則配置ssh時(shí)會(huì)提示缺少該組件包。
2. cygwin控制臺(tái)里的缺省提示符不太習(xí)慣，用export PS1="\u@\w$"設(shè)一下好多了。
3. Hadoop配置過(guò)程中配置sshd比較簡(jiǎn)單，可以參考這個(gè)鏈接。在ssh-host-config時(shí)問(wèn)到“Should privilege separation be used? (yes/no)”時(shí)回答no即可，如果由于安全因素要回答yes時(shí)，在啟動(dòng)sshd時(shí)有可能遇到“Privilege separation user sshd does not exist”的錯(cuò)誤信息，解決方法可參考這個(gè)鏈接。
4. 在配置ssh使用證書(shū)方式自動(dòng)驗(yàn)證時(shí)花了一些時(shí)間，后來(lái)覺(jué)得可能是由于機(jī)器上有兩個(gè)版本的cygwin的緣故，因?yàn)樵诹硪慌_(tái)機(jī)器上安裝就沒(méi)有出現(xiàn)問(wèn)題。在使用ssh-keygen -t rsa命令后提示輸入密碼時(shí)，直接按兩次回車(chē)即可。公鑰的復(fù)制等過(guò)程這里不再贅述。
5. 試圖在Eclipse里運(yùn)行hadoop的WordCount程序時(shí)提示異常：“javax.security.auth.login.LoginException: Login failed: CreateProcess: whoami error=2”，解決方法是把c:\cygwin\bin加入系統(tǒng)的path環(huán)境變量，然后重啟Eclipse以便改動(dòng)生效。
6. 在Eclipse里運(yùn)行WordCount時(shí)遇到j(luò)ava heap size不夠的異常，在運(yùn)行Hadoop配置里加入-Xms200M就可以解決。（hadoop的helloworld要求的內(nèi)存比較多？）
7. 當(dāng)要運(yùn)行的運(yùn)算依賴(lài)第三方類(lèi)庫(kù)時(shí)，這個(gè)鏈接有所討論，但暫時(shí)沒(méi)看到除了在命令行里使用hadoop jar命令以外的解決方法，比如在0.17.2和0.18.1版本里我都沒(méi)有看到JobConf類(lèi)里有類(lèi)似addJar()這樣的方法，在JobConf#setJar()里使用逗號(hào)分隔多個(gè)jar文件的方式則會(huì)報(bào)找不到文件的錯(cuò)誤。解決方式可能有兩個(gè)：a)把所需要的第三方j(luò)ar文件復(fù)制到每個(gè)節(jié)點(diǎn)機(jī)器的jre里（暫時(shí)沒(méi)有試驗(yàn)） b)把第三方j(luò)ar包和自己的類(lèi)打到一個(gè)包里。
update: 在網(wǎng)上找到另一種方式，通過(guò)DistributedCache實(shí)現(xiàn)，原文里可能有筆誤，我試驗(yàn)正確的方法是調(diào)用DistributedCache.addArchiveToClassPath()方法，注意其***個(gè)參數(shù)必須是相對(duì)路徑，如“/test/lib /my.jar”，而不能是像“hdfs://192.168.0.5:47110/test/lib/my.jar”這樣的絕對(duì)路徑。關(guān)于 DistributedCache的說(shuō)明在里有一些。
8. 調(diào)試mapreduce程序的方式，在這個(gè)鏈接里講得比較清楚了，因?yàn)楹苡杏盟蕴匾庵貜?fù)一次。如果文件存放在HDFS里，那么只需要調(diào)用JobConf#.set("mapred.job.tracker", "local");即可；如果文件也是存在本地的，還需要調(diào)用JobConf#set("fs.default.name", "local");方法。我通常讓文件存在HDFS里調(diào)試，因?yàn)橐褂帽镜匚募磪?shù)需要改變，要么代碼需要改變，維護(hù)兩個(gè)環(huán)境很麻煩。在程序里用System.out.println()輸出的內(nèi)容可以在datanode的hadoop安裝路徑的logs/userlogs目錄里找到。
9. 當(dāng)使用自定義InputFormat時(shí)，特別是使用EMF模型元素作為key的時(shí)候，需要注意并不是在代碼的任何地方都能得到xmi:id的值的。具體來(lái)說(shuō)，在WritableComparable#write()方法里能得到（前提是該對(duì)象本來(lái)就有resource，即eobj.eResource()!=null），而在WritableComparable#readFields()里是不能得到的，在RecordWriter#write()方法里同樣不能得到，因?yàn)楹髢烧叩腅MF元素對(duì)象都是反序列化得到的，已經(jīng)不是內(nèi)存里原來(lái)的那個(gè)實(shí)例了。
10. map進(jìn)行到100%后，reduce過(guò)程進(jìn)行到某個(gè)數(shù)值（如16%）后就不再繼續(xù)，直到被hadoop強(qiáng)制關(guān)閉。ok，到這里Hadoop配置完成。
網(wǎng)站題目：Hadoop配置指導(dǎo)手冊(cè)
網(wǎng)站地址：http://www.5511xx.com/article/dhhhdei.html
