建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)繼續(xù)向大家介紹hadoop應用中Hadoop安裝方面的內容，上節(jié)我們介紹了Hadoop安裝之前的環(huán)境配置，下面就開始Hadoop安裝了，歡迎大家一起來學習，希望通過本節(jié)介紹大家對Hadoop應用有深一步的理解。
一，安裝hadoop系統(tǒng)
1，添加用戶（所有namenode和datanode需要使用相同的用戶名,所有的信息傳輸需要用戶認證）
freebsd7test1#adduser
Username:rhinuxdoop
Fullname:
Uid(Leaveemptyfordefault):
Logingroup[rhinuxdoop]:
Logingroupisrhinuxdoop.Inviterhinuxdoopintoothergroups?[]:
Loginclass[default]:
Shell(shcshtcshbashrbashnologin)[sh]:bash//注意***使用bash,其實程序運行的時候會自動指定shell環(huán)境
Homedirectory[/home/rhinuxdoop]:/services/rhinuxdoop
客戶端必須是和服務端同樣的用戶名
2，hadoop需要使用rsync+ssh同步狀態(tài)和數據，需要無需輸入密碼就可訪問,所以設置用密鑰認證
a,生產密鑰對（用添加的用戶操作本例用戶為rhinuxdoop）
[rhinuxdoop@freebsd7test1~]$ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
默認在~/.ssh/下
b,在本機用戶中添加
[rhinuxdoop@freebsd7test1~]$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
c,添加到其他datanode
將namenoderhinuxdoop用戶目錄下.ssh/id_rsa.pub文件內容導入其他datanode
[rhinuxdoop@freebsd7test2~]$catid_dsa.pub>>~/.ssh/authorized_keys
d，測試：用rhinuxdoop在namenode上登陸讓后ssh到所有的datanode（本例中包括自己機器）
應該無需密碼就可以登陸
3，下載hadoop安裝軟件
a,去http://hadoop.apache.org/core/下載***版本hadoop目前為0.16.0版
b,解壓hadoop-0.16.0.tar.gz到用戶目錄/services/rhinuxdoop/
[rhinuxdoop@freebsd7test1~]$tarzxvfhadoop-0.16.0.tar.gz.
4,hadoop-0.16.0目錄結構說明：
a,bin存放腳本程序，
比如主控制程序hadoop,
啟動腳本start-all.sh--啟動所有hadoop進程start-dfs.sh--啟動DFS進程start-mapred.sh啟動MAP/Reduce進程
停止腳本stop-all.shstop-dfs.shstop-mapred.sh
b，conf配置文件目錄，
環(huán)境配置文件hadoop-env.sh可以配置環(huán)境變量，比如JAVA_HOME已經系統(tǒng)默認等。
默認配置文件hadoop-default.xml此文件不能修改需要設置參數請修改hadoop-site.xml
自定義配置文件hadoop-site.xml此文件可以自定義配置，出現在該文件中的配置項，系統(tǒng)將自動取代默認配置文件hadoop-default.xml中的配置項
namenode指定文件masters此文件來指定master(namenode)機器名
datanode指定文件slaves此文件來指定slave(datanode)機器列表，每臺機器名占一行
c，log目錄
默認日志存放目錄
d，各配置文件具體參數說明和研究下一個版本中給出。下面我們看一下Hadoop安裝過程中hadoop配置(freebsd7test1)。
5，hadoop配置(freebsd7test1)：
a,建立namenode存儲目錄及數據目錄
[rhinuxdoop@freebsd7test1~]$mkdir-p/services/rhinuxdoop/hadoop-0.16.0/filesystem/name
[rhinuxdoop@freebsd7test1~]$mkdir-p/services/rhinuxdoop/hadoop-0.16.0/filesystem/data
b,配置環(huán)境變量，編輯./conf/hadoop-env.sh
===============hadoop-env.sh====================
exportJAVA_HOME=/usr/local/jdk1.5.0
#至少要設置JAVA_HOME，另外也可以設置HADOOP_HOME-系統(tǒng)目錄,HADOOP_HOME默認為bin目錄的父目錄
=================================================
c，配置hadoop-site.xml(關于可配置項已經各配置項的說明可以參考hadoop-default.xml)
配置項格式為：
io.file.buffer.size 4096 Thesizeofbufferforuseinsequencefiles. - Thesizeofthisbuffershouldprobablybeamultipleofhardware
- pagesize(4096onIntelx86),anditdetermineshowmuchdatais
- bufferedduringreadandwriteoperations.
配置項名字 配置項的值 配置項的說明此文字只是幫助人理解用.
格式化namenode
[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopnamenode-format
無報錯既可，Hadoop安裝過程中freebsd7test1基本配置已完成
6，hadoop配置(freebsd7test2及其他datanode)
a，其他datanode必須保持namenode相同的目錄結構所以把namenode目錄復制過去
[rhinuxdoop@freebsd7test1~]$scp-rhadoop-0.16.0172.16.27.82:/services/rhinuxdoop/
7，啟動hadoop
[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/start-all.sh
此時會告知日志記錄的目錄和文件名，日志記錄基本可以在hadoop-site.xml中設定默認在hadoop-default.xml中設置為info
8,查看和測試。
a,系統(tǒng)開啟9000和9001端口分別為dfs的namenode和mapreduce的jobtracke監(jiān)聽口。
b,查看datanode狀態(tài)：[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopdfsadmin-report可以看到各點的狀態(tài)
c,存放文件：[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopfs-put/home/xuyunfeng/tzupdater-1.3.3-2007k.ziptzupdater-1.3.3-2007k.zip
將在本地系統(tǒng)目錄的/home/xuyunfeng/tzupdater-1.3.3-2007k.zip存入hadoop文件系統(tǒng)根目錄中。
d,查看hadoop文件系統(tǒng)目錄[rhinuxdoop@freebsd7test1~]$hadoop-0.16.0/bin/hadoopfs-ls
/user/rhinuxdoop/diablo-caffe-freebsd6-i386-1.5.0_07-b01.tar.bz2
/user/rhinuxdoop/tzupdater-1.3.3-2007k.zip
e,更多hadoop文件系統(tǒng)命令操作請參考手冊
f，api調用測試后續(xù)
g,可以通過web形式去瀏覽NameNode和JobTracker，默認端口為：
◆NameNode-http://freebsd7test1.rhinux.com:50070
◆JobTracker-http://freebsd7test1.rhinux.com:50030
◆需要在瀏覽的機器上配置好hosts。至此本節(jié)關于Hadoop應用中Hadoop安裝內容介紹完畢。
本文標題：Hadoop應用之Hadoop安裝篇
標題URL：http://www.5511xx.com/article/cogohse.html
