建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)向大家介紹一下Hadoop本地安裝是如何實(shí)現(xiàn)的，相信通過本文的介紹大家能夠很快掌握Hadoop本地安裝的方法，讓我們一起來看一下如何進(jìn)行Hadoop本地安裝。為了便于大家理解，在沒有介紹之前先看一下Hadoop的概念。
公司主營業(yè)務(wù)：成都網(wǎng)站建設(shè)、網(wǎng)站制作、移動(dòng)網(wǎng)站開發(fā)等業(yè)務(wù)。幫助企業(yè)客戶真正實(shí)現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)建站是一支青春激揚(yáng)、勤奮敬業(yè)、活力青春激揚(yáng)、勤奮敬業(yè)、活力澎湃、和諧高效的團(tuán)隊(duì)。公司秉承以“開放、自由、嚴(yán)謹(jǐn)、自律”為核心的企業(yè)文化，感謝他們對(duì)我們的高要求，感謝他們從不同領(lǐng)域給我們帶來的挑戰(zhàn)，讓我們激情的團(tuán)隊(duì)有機(jī)會(huì)用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)建站推出龍亭免費(fèi)做網(wǎng)站回饋大家。
Hadoop本地模式安裝
Hadoop概念
Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。簡單地說來，Hadoop是一個(gè)可以更容易開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)?！ ?br /> Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡稱HDFS。HDFS有著高容錯(cuò)性（fault-tolerent）的特點(diǎn)，并且設(shè)計(jì)用來部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。當(dāng)前最新版本是hadoop0.20.1。下面就hadoop0.20.1為藍(lán)本，介紹在UbuntuLinux9.10下hadoop本地安裝的方法。
支持的平臺(tái)：
Linux，可作為開發(fā)和產(chǎn)品部署的平臺(tái)；
Windows，可作為開發(fā)平臺(tái)。
事先需要的軟件：
1.JavaTM1.6.x，必須安裝，建議選擇Sun公司發(fā)行的Java版本；
2.ssh必須安裝，并保證sshd運(yùn)行，hadoop將以ssh進(jìn)行通訊；
3.如果是windows，則需要裝Cygwin，用以支持shell命令。
Hadoop安裝可用的模式：
1.本地模式；
2.偽分布模式；
3.全分布模式。
本地模式安裝步驟：
1.將hadoop安裝包解壓縮到某目錄下；
2.修改conf/hadoop-env.sh文件，exportJAVA_HOME=那行設(shè)置正確的JAVA_HOME位置，當(dāng)然如果事先在操作系統(tǒng)已經(jīng)set完JAVA_HOME，可以忽略此步驟；
Hadoop本地模式安裝完了，就這么簡單！
測試一下運(yùn)行效果：
$mkdirinput
$cpconf/*.xmlinput
$bin/hadoopjarhadoop-*-examples.jargrepinputoutput'dfs[a-z.]+'
$catoutput/*
這個(gè)示例程序是hadoop自帶的，用于把conf下的xml文件拷貝到input目錄下，并且找到并顯示所有與最后一個(gè)參數(shù)的正則表達(dá)式相匹配的行，output是輸出文件夾。本節(jié)關(guān)于Hadoop本地安裝介紹到這里，希望你有所收獲。
分享名稱：Hadoop本地模式安裝如何實(shí)現(xiàn)？
當(dāng)前地址：http://www.5511xx.com/article/cdhhpsc.html
