日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
輕松實現(xiàn)HadoopHdfs配置

本節(jié)和大家一起學(xué)習(xí)一下Hadoop Hdfs配置方法，希望通過本節(jié)的介紹大家能夠掌握如何配置Hadoop Hdfs，以便在以后的學(xué)習(xí)過程中碰到此類問題是能快速解決。下面是具體介紹。

十載建站經(jīng)驗， 做網(wǎng)站、成都網(wǎng)站設(shè)計客戶的見證與正確選擇。創(chuàng)新互聯(lián)提供完善的營銷型網(wǎng)頁建站明細(xì)報價表。后期開發(fā)更加便捷高效，我們致力于追求更美、更快、更規(guī)范。

Hadoop Hdfs配置

環(huán)境:

Jdk1.6
Hadoop-2.20.1
Fuse-2.8.1
--------------------------------------------------------------------------------

Jdk1.6下載地址
http://cds.sun.com/is-bin/INTERSHOP.enfinity/WFS/CDS-CDS_Developer-Site/en_US/-/USD/VerifyItem-Start/jdk-6u14-linux-i586.bin?BundledLineItemUUID=.1JIBe.mR4oAAAEh1jkH4cNK&OrderID=SHBIBe.mbIYAAAEhwDkH4cNK&ProductID=4ZhIBe.o8c4AAAEhkh0zLjfT&FileName=/jdk-6u14-linux-i586.bin
hadoop-2.20.1下載地址http://www.apache.org/dyn/closer.cgi/hadoop/core/
Fuse-2.8.1下載地址http://sourceforge.net/projects/fuse/files/fuse-2.X/

NameNode192.168.1.11Centos5.3hostnamemaster-dfs
JobTracker192.168.1.11(這個也可單獨(dú)配置一臺)
DataNode192.168.1.12Centos5.3hostname:data-dfs
Client192.168.1.13Centos5.3hostname:client-dfs

Hadoop Hdfs配置先決條件

配置ssh自動登陸，詳細(xì)見http://hadoop.apache.org/common/docs/r0.20.0/quickstart.html

安裝

1、JDK安裝,解壓到/usr/local/jdk1.6,并配置/etc/profile環(huán)境

exportJAVA_HOME=/usr/local/jdk1.6
exportPATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH
exportCLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
2、下載Hadoop解壓到每臺服務(wù)器的/data/soft目錄下，***目錄都相同。
tarzxvfhadoop-2.20.1.tar.gz
配置

配置說明
Hadoop Hdfs配置過程中Hadoop的具體配置選項說明詳見http://www.hadoop.org.cn/document/cn/r0.18.2/cluster_setup.html

1、修改conf/hadoop-env.sh，添加jdk支持，exportJAVA_HOME=/usr/local/jdk1.6
2、cd/data/soft/hadoop-2.20.1修改hadoop目錄下的conf/core-site.xml文件，增加以下內(nèi)容：

 
 
 
    
  
  
  
    2. 
  
  
  
    3. 
  
  
  
  3. fs.default.name
    4. 
  
  
  
  4. hdfs://ws:54310//你的namenode的配置，機(jī)器名加端口 
    5. 
  
  
  
  5. 
  
  
  
    7. 
  
  
  
  7. dfs.name.dir
    8. 
  
  
  
  8. /data/hdfs/hdfs1//NameNode持久存儲名字空間及事務(wù)日志的本地文件系統(tǒng)路徑。 
    9. 
  
  
  
  9. 
  
  
  
    11. 
  
  
  
  11. dfs.data.dir//DataNode存放塊數(shù)據(jù)的本地文件系統(tǒng)路徑，逗號分割的列表。 
    12. 
  
  
  
  12. /data/hdfs/hdfsdata1
    13. 
  
  
  
  13. 
  
  
  
    15. 
  
  
  
  15. hadoop.tmp.dir>//Hadoop的默認(rèn)臨時路徑，這個***配置，然后在新增節(jié)點或者其他情況下莫名其妙的DataNode啟動不了，就刪除此文件中的tmp目錄即可。
    16. 
  
  
  
  16. 不過如果刪除了NameNode機(jī)器的此目錄，那么就需要重新執(zhí)行NameNode格式化的命令了。 
    17. 
  
  
  
  17. /data/hdfs/hdfstmp
    18. 
  
  
  
  18. Abaseforothertemporarydirectories.
    19. 
  
  
  
  19. 
  
  
  
    21. 
  
  
  
  21. dfs.replication//數(shù)據(jù)需要備份的數(shù)量，默認(rèn)是三 
    22. 
  
  
  
  22. 1
    23. 
  
  
  
  23. 
  
  
  
  24. 
  
  
  
  25.

 3、修改conf/mapred-site.xml增加如下內(nèi)容：

 
 
 
    
  
  
  
    2. 
  
  
  
  2. mapred.job.tracker//JobTracker的主機(jī)（或者IP）和端口。 
    3. 
  
  
  
  3. ws:54311
    4. 
  
  
  
  4. 
  
  
  
  5.

 4、配置/masters,修改conf//masters
master-dfs
修改hosts文件vi/etc/hosts

192.168.1.11master-dfs
192.168.1.12data-dfs
192.168.1.13client-dfs，請期待下節(jié)有關(guān)Hadoop Hdfs配置介紹。


網(wǎng)頁名稱：輕松實現(xiàn)HadoopHdfs配置
URL網(wǎng)址：http://www.5511xx.com/article/cdgccgj.html