專家指導(dǎo) 如何進(jìn)行Hadoop分布式集群配置

作者：admin 2010-06-03 14:42:47

開發(fā)

架構(gòu)

分布式

Hadoop Hadoop相信大家應(yīng)該有所了解，那么什么是Hadoop分布式集群呢，這里向大家介紹一下Hadoop分布式集群配置方法，歡迎大家一起來(lái)學(xué)習(xí)。

創(chuàng)新互聯(lián)建站服務(wù)項(xiàng)目包括華池網(wǎng)站建設(shè)、華池網(wǎng)站制作、華池網(wǎng)頁(yè)制作以及華池網(wǎng)絡(luò)營(yíng)銷策劃等。多年來(lái)，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，華池網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到華池省份的部分城市，未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

在學(xué)習(xí)Hadoop的過程中，你可能會(huì)遇到Hadoop分布式集群配置問題，本節(jié)和大家一起學(xué)習(xí)一下Hadoop分布式集群配置方法，希望通過本節(jié)的介紹大家能夠掌握其方法。

Hadoop分布式集群配置總結(jié)

假設(shè)用2臺(tái)機(jī)器配置hadoop分布式集群，192.168.11.13為主服務(wù)器namenode，192.168.11.17為數(shù)據(jù)節(jié)點(diǎn)datanode

1.配置SSH的無(wú)密碼公鑰
192.168.11.13
用root登錄
創(chuàng)建用戶linleran：adduserlinleran
設(shè)置密碼：passwdlinleran
切換用戶：sulinleran
到用戶linleran的目錄（/home/linleran）新建文件件.ssh：mkdir.ssh
修改目錄.ssh權(quán)限為：[linleran@centos~]$chmod755.ssh

配置SSH的無(wú)密碼公鑰，一路回車。
[linleran@centos~]$ssh-keygen-trsa
Generatingpublic/privatersakeypair.
Enterfileinwhichtosavethekey(/home/linleran/.ssh/id_rsa):
Enterpassphrase(emptyfornopassphrase):
Entersamepassphraseagain:
Youridentificationhasbeensavedin/home/linleran/.ssh/id_rsa.
Yourpublickeyhasbeensavedin/home/linleran/.ssh/id_rsa.pub.
Thekeyfingerprintis:
df:99:37:84:a1:04:34:06:60:45:b9:ce:43:af:54:77linleran@centos.test
進(jìn)入.ssh目錄，將id_rsa.pub的內(nèi)容復(fù)制到authorized_keys后面。
修改authorized_keys的權(quán)限為[linleran@centos.ssh]$chmod644authorized_keys。

192.168.11.17同樣執(zhí)行以內(nèi)容，且將id_rsa.pub內(nèi)容添加到192.168.11.13的authorized_keys后面，同時(shí)將192.168.11.13的id_rsa.pub內(nèi)容添加過來(lái)，以確保2臺(tái)機(jī)器相互可以ssh連接。Hadoop分布式集群配置時(shí)還要在主服務(wù)器安裝hadoop。

2.在主服務(wù)器安裝hadoop

解壓tarzxvfhadoop-0.18.2.tar.gz

創(chuàng)建目錄
/home/linleran/hadoop-0.18.2/hadoopfs/name
/home/linleran/hadoop-0.18.2/hadoopfs/data
/home/linleran/hadoop-0.18.2/tmp/

配置hadoop-env.sh設(shè)置jdk路徑exportJAVA_HOME=/home/linleran/jdk1.5.0_15
配置conf/hadoop-site.xml

  
 
 

   
  
  
 
   
  
  
 
   
  
  
fs.default.name 
   
  
  
hdfs://192.168.11.13:9000/ 
   
  
  
 
   
  
  
 
   
  
  
mapred.job.tracker 
   
  
  
192.168.11.13:9001 
   
  
  
 
   
  
  
 
   
  
  
dfs.name.dir 
   
  
  
/home/linleran/hadoop-0.18.2/hadoopfs/name 
   
  
  
 
   
  
  
 
   
  
  
dfs.data.dir 
   
  
  
/home/linleran/hadoop-0.18.2/hadoopfs/data 
   
  
  
 
   
  
  
 
   
  
  
dfs.replication 
   
  
  
1 
   
  
  
 
   
  
  
 
   
  
  
hadoop.tmp.dir 
   
  
  
/home/linleran/hadoop-0.18.2/tmp/ 
   
  
  
 
   
  
  
 
  
 
 

配置conf/masters
將主機(jī)ip添加192.168.11.13

配置conf/slaves
將datanodeIP添加192.168.11.17

將配置好的hadoop通過scp部署到節(jié)點(diǎn)。scp–r/home/linleran/hadoop-0.18.2192.168.11.17:/home/linleran/hadoop-0.18.2 

3.Hadoop分布式集群配置時(shí)在主服務(wù)器啟動(dòng)

格式化一個(gè)新的分布式文件系統(tǒng)
bin/hadoopnamenode–format
啟動(dòng)服務(wù)
bin/start-all.sh

4.測(cè)試

測(cè)試分布式文件系統(tǒng)
mkdirtest-in
echo“helloword”>file1.txt
echo“hellohadoop”>file2.txt
bin/hadoopdfs–puttest-ininput
bin/hadoopjarhadoop-0.18.2-examples.jarwordcountinputoutput
bin/hadoopdfs–getoutputresult
catresult/*

5.Hadoop分布式集群配置過程中遇到的問題

SSH無(wú)密碼訪問不成功。.ssh目錄需要755權(quán)限，authorized_keys需要644權(quán)限，否則一直提示輸入密碼。
linux防火墻開著，hadoop需要開的端口需要添加，或者關(guān)掉防火墻。否則會(huì)出現(xiàn)節(jié)點(diǎn)服務(wù)器一直無(wú)法連上主服務(wù)器。節(jié)點(diǎn)服務(wù)器的日志不斷的retry：
INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver…
數(shù)據(jù)節(jié)點(diǎn)連不上主服務(wù)器還有可能是使用了機(jī)器名的緣故，還是使用IP地址比較穩(wěn)妥。
分布式文件系統(tǒng)報(bào)錯(cuò)，java.lang.IllegalArgumentException:WrongFS:，hadoop-site.xml要配置正確，fs.default.name的value是hdfs://IP:端口/，mapred.job.tracker的value是IP:端口

當(dāng)前文章：專家指導(dǎo)如何進(jìn)行Hadoop分布式集群配置
文章出自：http://www.5511xx.com/article/dpcjdpc.html