建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)和大家一起學(xué)習(xí)一下Hadoop方面的知識(shí)，本節(jié)主要內(nèi)容有Hadoop概念介紹，Hadoop結(jié)構(gòu)示意圖和Hadoop的優(yōu)點(diǎn)及使用場(chǎng)景，歡迎大家一起來(lái)學(xué)習(xí)Hadoop。首先看一下Hadoop的概念。
創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括徐聞網(wǎng)站建設(shè)、徐聞網(wǎng)站制作、徐聞網(wǎng)頁(yè)制作以及徐聞網(wǎng)絡(luò)營(yíng)銷策劃等。多年來(lái)，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，徐聞網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到徐聞省份的部分城市，未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！
Hadoop概念
Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開(kāi)發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。
簡(jiǎn)單地說(shuō)來(lái)，Hadoop是一個(gè)可以更容易開(kāi)發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。
Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（HadoopDistributedFileSystem），簡(jiǎn)稱HDFS。HDFS有著高容錯(cuò)性（fault-tolerent）的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（low-cost）硬件上。而且它提供高傳輸率（highthroughput）來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（largedataset）的應(yīng)用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問(wèn)（streamingaccess）文件系統(tǒng)中的數(shù)據(jù)。
Hadoop結(jié)構(gòu)示意圖
在Hadoop的系統(tǒng)中，會(huì)有一臺(tái)Master，主要負(fù)責(zé)NameNode的工作以及JobTracker的工作。JobTracker的主要職責(zé)就是啟動(dòng)、跟蹤和調(diào)度各個(gè)Slave的任務(wù)執(zhí)行。還會(huì)有多臺(tái)Slave，每一臺(tái)Slave通常具有DataNode的功能并負(fù)責(zé)TaskTracker的工作。TaskTracker根據(jù)應(yīng)用要求來(lái)結(jié)合本地?cái)?shù)據(jù)執(zhí)行Map任務(wù)以及Reduce任務(wù)。
說(shuō)到這里，就要提到分布式計(jì)算最重要的一個(gè)設(shè)計(jì)點(diǎn)：MovingComputationisCheaperthanMovingData。就是在分布式處理中，移動(dòng)數(shù)據(jù)的代價(jià)總是高于轉(zhuǎn)移計(jì)算的代價(jià)。簡(jiǎn)單來(lái)說(shuō)就是分而治之的工作，需要將數(shù)據(jù)也分而存儲(chǔ)，本地任務(wù)處理本地?cái)?shù)據(jù)然后歸總，這樣才會(huì)保證分布式計(jì)算的高效性。
為什么要選擇Hadoop？
說(shuō)完了What，簡(jiǎn)單地說(shuō)一下Why。官方網(wǎng)站已經(jīng)給了很多的說(shuō)明，這里就大致說(shuō)一下其優(yōu)點(diǎn)及使用的場(chǎng)景（沒(méi)有不好的工具，只用不適用的工具，因此選擇好場(chǎng)景才能夠真正發(fā)揮分布式計(jì)算的作用）：
可擴(kuò)展：不論是存儲(chǔ)的可擴(kuò)展還是計(jì)算的可擴(kuò)展都是Hadoop的設(shè)計(jì)根本。
經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的PC上。
可靠：分布式文件系統(tǒng)的備份恢復(fù)機(jī)制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性。
高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合LocalData處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備。
使用場(chǎng)景：個(gè)人覺(jué)得最適合的就是海量數(shù)據(jù)的分析，其實(shí)Google最早提出MapReduce也就是為了海量數(shù)據(jù)分析。同時(shí)HDFS最早是為了搜索引擎實(shí)現(xiàn)而開(kāi)發(fā)的，后來(lái)才被用于分布式計(jì)算框架中。海量數(shù)據(jù)被分割于多個(gè)節(jié)點(diǎn)，然后由每一個(gè)節(jié)點(diǎn)并行計(jì)算，將得出的結(jié)果歸并到輸出。同時(shí)***階段的輸出又可以作為下一階段計(jì)算的輸入，因此可以想象到一個(gè)樹(shù)狀結(jié)構(gòu)的分布式計(jì)算圖，在不同階段都有不同產(chǎn)出，同時(shí)并行和串行結(jié)合的計(jì)算也可以很好地在分布式集群的資源下得以高效的處理。本節(jié)關(guān)于Hadoop的介紹完畢，請(qǐng)關(guān)注本節(jié)其他相關(guān)報(bào)道。
【編輯推薦】
- 開(kāi)源框架Hadoop實(shí)現(xiàn)分布式計(jì)算
- 技術(shù)分享 Hadoop集群搭建方法
- Hadoop集群與Hadoop性能優(yōu)化
- HadoopHBase實(shí)現(xiàn)配置簡(jiǎn)單的單機(jī)環(huán)境
- Hadoop機(jī)架感知及啟動(dòng)停止方法詳解
本文題目：Hadoop優(yōu)點(diǎn)及其結(jié)構(gòu)示意圖詳解
鏈接URL：http://www.5511xx.com/article/dpdisjp.html
