建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
在學(xué)習(xí)Hadoop的過(guò)程中，你可能會(huì)遇到HadoopHBase單機(jī)環(huán)境簡(jiǎn)單配置問(wèn)題，本節(jié)就和大家分享一下HadoopHBase單機(jī)環(huán)境簡(jiǎn)單配置的方法，希望通過(guò)本節(jié)的介紹大家能夠掌握其方法。
10年積累的網(wǎng)站建設(shè)、成都網(wǎng)站建設(shè)經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶(hù)對(duì)網(wǎng)站的新想法和需求。提供各種問(wèn)題對(duì)應(yīng)的解決方案。讓選擇我們的客戶(hù)得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先網(wǎng)站設(shè)計(jì)制作后付款的網(wǎng)站建設(shè)流程，更有羅城免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。
HadoopHBase單機(jī)環(huán)境簡(jiǎn)單配置教程
Hadoop是Apache的一個(gè)項(xiàng)目,它是一個(gè)實(shí)現(xiàn)了MapReduce計(jì)算模型的可以運(yùn)用于大型集群并行計(jì)算的分布式并行計(jì)算編程框架,當(dāng)然分布式計(jì)算離不開(kāi)分布式存儲(chǔ),Hadoop框架包含了分布式存儲(chǔ)系統(tǒng)HDFS(HadoopDistributedFileSystem),其存儲(chǔ)和數(shù)據(jù)結(jié)構(gòu)很類(lèi)似Google的GFS.
HBase是Hadoop的子項(xiàng)目,它是基于HadoopHDFS分布存儲(chǔ)系統(tǒng)的一個(gè)GoogleBigTable開(kāi)源實(shí)現(xiàn)(最近看了BigTable的Paper,很受鼓舞和啟發(fā)),它在存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)上并非關(guān)系型,而是疏松分布式的,持久并按多維排序并索引的map型,下次我把介紹BigTable和HBase的文章轉(zhuǎn)載過(guò)來(lái).
GoogleBigTable的paper:http://labs.google.com/papers/bigtable-osdi06.pdf
在初接觸HadoopHbase的時(shí)候,大多數(shù)技術(shù)人員只希望通過(guò)簡(jiǎn)單的方法初步搭起框架環(huán)境,但我找了好多安裝手冊(cè)都是上來(lái)就部署集群分布環(huán)境(盡管做Hadoop就是為了這個(gè)目的),搭建集群環(huán)境的時(shí)候要設(shè)置ssh協(xié)議訪問(wèn)權(quán)限,要生成訪問(wèn)公鑰,并且slaves配置上的小錯(cuò)誤也會(huì)導(dǎo)致整個(gè)部署問(wèn)題重重,所以我在部署成功后記錄下最簡(jiǎn)單運(yùn)行的standalone模式的安裝配置過(guò)程,希望初學(xué)者在需要的時(shí)候能找到這個(gè)小小的guide,以后有時(shí)間我會(huì)再把集群配置的方法寫(xiě)出來(lái).
開(kāi)始:
1.在Apache/Hadoop項(xiàng)目的網(wǎng)站(hadoop.apache.org/)下載hadoophbase發(fā)行包,此處兩個(gè)發(fā)行包的大版本號(hào)一定要一致,譬如都是0.18版本:hadoop-0.18.2.tar.gzhbase-0.18.1.tar.gz
2.使用root身份登錄目標(biāo)服務(wù)器系統(tǒng)(Suse10Linux)
首先安裝java虛擬機(jī),這個(gè)比較簡(jiǎn)單,隨便找個(gè)綠色的解壓就可以了,在這個(gè)例子里面我使用IBMWAS6.1附帶的jdk,它的home目錄是/opt/IBM/WebSphere/AppServer/java,我們只需要配置系統(tǒng)的環(huán)境變量就可以了.
編輯全局環(huán)境變量文件/etc/profile,在文件后面添加
exportJAVA_HOME=/opt/IBM/WebSphere/AppServer/java
exportPATH=$JAVA_HOME:$PATH
保存profile文件后使用$source/etc/profile命令重新加載profile,然后隨便在一個(gè)目錄下面運(yùn)行$java-version查看javahome環(huán)境變量和path變量是否被正確加載.
另外到/etc/hosts文件中查看主機(jī)映射是否存在,例如127.0.0.1localhost或者什么其他的名字,在這里默認(rèn)配置本機(jī)為localhost,如果需要做分布式的話(huà),本機(jī)要做namenode,所以要把所有的datanode的host添加到這里面.
3.創(chuàng)建hadoop用戶(hù),$useraddhadoop可以用$passwdhadoop修改hadoop用戶(hù)的登錄密碼.
4.創(chuàng)建hadoop用戶(hù)的home目錄,如果打算在別處安裝hadoop/hbase的話(huà)可以不這樣做,這里我們默認(rèn)將hadoophbase安裝在/home/${username}目錄下.
$cd/home
$mkdirhadoop
將目錄用戶(hù)指派給hadoop
$chownhadoophadoop
改變目錄權(quán)限,這里我們配大一些,其實(shí)只要644就足夠了:
$chmod755hadoop
5.使用hadoop用戶(hù)登錄系統(tǒng),將下載的兩個(gè)發(fā)行包文件傳到/home/hadoop目錄下面,然后給它們加上執(zhí)行權(quán)限:
$chmoda+xhadoop-0.18.2.tar.gz
$chmoda+xhbase-0.18.1.tar.gz
6.解壓hadoop:
$tarzxvfhadoop-0.18.2.tar.gz
這樣做會(huì)在/home/hadoop目錄下解壓hadoop發(fā)行包并創(chuàng)建到/home/hadoop/hadoop。本節(jié)關(guān)于HadoopHBase單機(jī)環(huán)境簡(jiǎn)單配置內(nèi)容沒(méi)有介紹完整，請(qǐng)期待下節(jié)介紹。
當(dāng)前標(biāo)題：HadoopHBase實(shí)現(xiàn)配置簡(jiǎn)單的單機(jī)環(huán)境
標(biāo)題URL：http://www.5511xx.com/article/cdhchdp.html
