建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)和大家一起學習一下Hdoop/Hbase文件配置方法，文件配置主要有十一個步驟，在這里向大家簡單介紹一下，下面讓我們一起來學習Hdoop/Hbase文件配置吧。
創(chuàng)新互聯(lián)于2013年創(chuàng)立，是專業(yè)互聯(lián)網(wǎng)技術服務公司，擁有項目成都網(wǎng)站制作、做網(wǎng)站網(wǎng)站策劃，項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命，1280元溪湖做網(wǎng)站,已為上家服務,為溪湖各地企業(yè)和個人服務,聯(lián)系電話:028-86922220
Hdoop/Hbase文件配置
1、硬件環(huán)境
我們采用了3臺機器來構建,都安裝的是Ubuntu8.04系統(tǒng)，并且都有一個名為“quan“的帳號，如下：
主機名稱：360quan-1ip:192.168.0.37功能：NameNode,JobTracker
主機名稱：360quan-2ip:192.168.0.43功能：DataNode,TaskTracker
主機名稱：360quan-3ip:192.168.0.53功能：DataNode,TaskTracker
重點：修改3臺機器的/etc/hosts,讓彼此的主機名稱和ip都能順利解析
127.0.0.1localhost
192.168.0.37360quan-1
192.168.0.43360quan-2
192.168.0.53360quan-3
2、每臺機器都要安裝java環(huán)境，我們的路徑統(tǒng)一為“/opt/jdk1.6.0_03“,并添加到系統(tǒng)環(huán)境變量sudogedit/etc/profile
3，hbase0.12版本到"360quan-1"，將hadoop解壓到/home/quan/opt/hadoop,hbase解壓到hadoop/contrib/hbase。建議最好也將hadoop的目錄添加到環(huán)境變量里面去:
4、安裝ssh,這里注意ubuntu8.04下面是ssh2，如果是ssh1的話，請升級,安裝完后，建立ssh通道，使用空密碼（生產(chǎn)環(huán)境可不能使用空密碼?。?，這里使用“360quan-1”這臺機器為例說明:
5、接下來，我們要修改hadoop的相關設定了。修改"360quan-1"上面的hadoop的[conf/masters]、[conf/slaves]這2個文件：
Master設置(
Slave設置(
6、修改［conf/hadoop-env.sh］：exportJAVA_HOME=/opt/jdk1.6.0_03
7、修改［conf/hadoop-site.xml],這里只是Hdoop/Hbase文件配置中幾個常用的屬性配置，有關hadoop的性能優(yōu)化調整，需要研究hadoop-default.xml。
8、修改hbase的[hbase-evn.sh]:exportJAVA_HOME=/opt/jdk1.6.0_03
9、修改hbase的［hbase-site.xml］:
10、然后將hadoop的整體環(huán)境拷貝到360quan-2、360quan-3上面去
scp-r/home/quan/hadoop360quan-2:/home/hdp/
scp-r/home/quan/hadoop360quan-3:/home/hdp/
11、在360quan-1這個namenode上面格式化一個新的分布式文件系統(tǒng)HDFS，就是hadoop-site.xml文件中指定的hadoop.tmp.dir路徑
到此Hdoop/Hbase文件配置大致上就完成了，屬于你自己的CloudComputing環(huán)境了
啟動hadoop：
啟動hbase：
停止hbase：
停止hadoop：
說明：
(1)執(zhí)行$bin/start-all.sh啟動Hadoop進程后，會啟動5個java進程,同時會在/tmp目錄下創(chuàng)建五個pid文件記錄這些進程ID號。通過這五個文件，可以得知namenode,datanode,secondarynamenode,jobtracker,tasktracker分別對應于哪一個Java進程。當你覺得Hadoop工作不正常時，可以首先查看這5個java進程是否在正常運行,運行jps命令也可以查看。
(2)訪問http://360quan-1:50030可以查看JobTracker的運行狀態(tài)。訪問http://360quan-1:50060可以查看TaskTracker的運行狀態(tài)。訪問http://360quan-1:50070可以查看NameNode以及整個分布式文件系統(tǒng)的狀態(tài)，瀏覽分布式文件系統(tǒng)中的文件以及l(fā)og等。
(3)查看${HADOOP_HOME}/logs目錄下的log文件，namenode,datanode,secondarynamenode,jobtracker,tasktracker各有一個對應的log文件，每一次運行的計算任務也有對應用log文件。分析這些log文件有助于找到故障原因。本節(jié)關于Hdoop/Hbase文件配置方面的內容介紹到這里。
文章標題：Hdoop/Hbase文件配置方法詳解
轉載注明：http://www.5511xx.com/article/dppieeh.html
