建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)接著上節(jié)向大家介紹Windows下基于Eclipse的Hadoop開發(fā)環(huán)境完全配置的方法步驟，上節(jié)介紹了配置的準(zhǔn)本工作，接下來該開始配置Hadoop了，這里向大家簡(jiǎn)單分享一下，希望本節(jié)的學(xué)習(xí)可以讓你對(duì)Hadoop開發(fā)環(huán)境有新的理解。
目前成都創(chuàng)新互聯(lián)公司已為上千多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)站空間、網(wǎng)站托管、服務(wù)器托管、企業(yè)網(wǎng)站設(shè)計(jì)、新晃網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長(zhǎng)，共同發(fā)展。
Windows下基于Eclipse的Hadoop開發(fā)環(huán)境完全配置
一，解壓文件
打開一個(gè)cygwin，輸入以下命令
cd.
explorer.
會(huì)彈出一個(gè)新窗口，把原來下載的hadoop壓縮文件放到里面，并解壓。個(gè)人認(rèn)為，其實(shí)不一定要放到cygwin的用戶根目錄下，沒試過。
二，配置Hadoop
打開解壓出來的文件夾，在hadoop-0.19.2\conf目錄下有一個(gè)hadoop-site.xml文件，打開，在原有的
fs.default.name hdfs://localhost:9100 mapred.job.tracker localhost:9101 dfs.replication 1
保存。
三，格式化NameNode
打開一個(gè)cygwin，轉(zhuǎn)到hadoop目錄下，如果按照前面的解壓，直接用cdhadoop-0.19.2就可以了，接著輸入以下命令：
mkdirlogs
bin/hadoopnamenode-format
四，安裝Eclipse插件
因?yàn)楸竟?jié)介紹的Hadoop開發(fā)環(huán)境配置是基于Eclipse的，所以需要安裝Eclipse插件。打開解壓后的文件夾，把hadoop-0.19.2\contrib\eclipse-plugin下的hadoop-0.19.2-eclipse-plugin.jar文件拷到eclipse的plugins目錄下，重啟eclipse，在Window-》OpenPerspective-》other，彈出的窗口中應(yīng)該有一項(xiàng)Map/Reduce項(xiàng)，代表安裝成功了。如果沒有的話，把eclipse下的configuration\org.eclipse.update文件夾刪了，再重啟eclipse。
五，啟動(dòng)Hudoop集群
啟動(dòng)五個(gè)cygwin。
在***中啟動(dòng)NameNode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopnamenode
在第二個(gè)中啟動(dòng)SecondaryNameNode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopsecondarynamenode
第三個(gè)中啟動(dòng)jobtracker執(zhí)行：
cdhadoop-0.19.2
bin/hadoopjobtracker
第四個(gè)中啟動(dòng)datanode，執(zhí)行：
cdhadoop-0.19.2
bin/hadoopdatanode
***一個(gè)啟動(dòng)tasktracker，執(zhí)行：
cdhadoop-0.19.2
bin/hadooptasktracker
六，在Eclipse中配置Hadoop開發(fā)環(huán)境
啟動(dòng)eclipse，轉(zhuǎn)到Map/ReducePerspective,在上圖的Map/ReduceLocations里，新建一個(gè)Location，填入以下值
*LocationName--localhost
*Map/ReduceMaster
oHost--localhost
oPort--9101
*DFSMaster
oCheck"UseM/RMasterHost"
oPort--9100
*Username--默認(rèn)
七，上傳文件到HDFS
打開一個(gè)cygwin，執(zhí)行
cdhadoop-0.19.1
bin/hadoopfs-mkdirIn
bin/hadoopfs-put*.txtIn
這時(shí)，在eclipse的Projectexplorer的DFSlocation中，應(yīng)該能反應(yīng)變化，沒有的話，reconnect一下。Hadoop開發(fā)環(huán)境安全配置的下一步該創(chuàng)建工程了。
八，創(chuàng)建工程
啟動(dòng)Eclipse，右鍵點(diǎn)擊ProjectExplorer窗口，選擇New->Project..找到Map/ReduceProject，點(diǎn)Next，輸入名字。
點(diǎn)擊下面的ConfigHadoopInstallDirectiory，輸入Hadoop的目錄，如：C:\cygwin\home\User\hadoop-0.19.2
右鍵點(diǎn)擊新創(chuàng)建的Hadoop工程，選擇New->Other轉(zhuǎn)到Map/Reduce文件夾,選擇MapReduceDriver然后點(diǎn)擊Next，輸入名字，點(diǎn)擊Finish。
新創(chuàng)建了一個(gè)文件，但是有錯(cuò)誤，把
conf.setInputPath(newPath("src"));
conf.setOutputPath(newPath("out"));
換為
conf.setInputFormat(TextInputFormat.class);
conf.setOutputFormat(TextOutputFormat.class);
FileInputFormat.setInputPaths(conf,newPath("In"));
FileOutputFormat.setOutputPath(conf,newPath("Out"));
右鍵點(diǎn)擊文件，選擇RunAs-->RunonHadoop.在彈出的窗口中選擇"Chooseexistinghadooplocation",然后選擇剛才創(chuàng)建的localhost，點(diǎn)Finish就開始運(yùn)行了。至此本節(jié)關(guān)于Hadoop開發(fā)環(huán)境安全配置就完成了。
當(dāng)前名稱：Windows下輕松實(shí)現(xiàn)Hadoop開發(fā)環(huán)境安全配置
本文來源：http://www.5511xx.com/article/djeieds.html
