新聞中心
本節(jié)向大家描述一下Hadoop簡(jiǎn)介,主要包括Hadoop概念和Hadoop子系統(tǒng)功能等內(nèi)容,希望通過(guò)本節(jié)的介紹大家對(duì)Hadoop有新的認(rèn)識(shí),讓我們一起來(lái)學(xué)習(xí)Hadoop吧。

創(chuàng)新互聯(lián)公司自成立以來(lái),一直致力于為企業(yè)提供從網(wǎng)站策劃、網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、成都做網(wǎng)站、電子商務(wù)、網(wǎng)站推廣、網(wǎng)站優(yōu)化到為企業(yè)提供個(gè)性化軟件開(kāi)發(fā)等基于互聯(lián)網(wǎng)的全面整合營(yíng)銷(xiāo)服務(wù)。公司擁有豐富的網(wǎng)站建設(shè)和互聯(lián)網(wǎng)應(yīng)用系統(tǒng)開(kāi)發(fā)管理經(jīng)驗(yàn)、成熟的應(yīng)用系統(tǒng)解決方案、優(yōu)秀的網(wǎng)站開(kāi)發(fā)工程師團(tuán)隊(duì)及專(zhuān)業(yè)的網(wǎng)站設(shè)計(jì)師團(tuán)隊(duì)。
Hadoop簡(jiǎn)介
Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu),由Apache基金會(huì)開(kāi)發(fā)。用戶(hù)可以在不了解分布式底層細(xì)節(jié)的情況下,開(kāi)發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲(chǔ)。
簡(jiǎn)單地說(shuō)來(lái),Hadoop是一個(gè)可以更容易開(kāi)發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。
Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(HadoopDistributedFileSystem),簡(jiǎn)稱(chēng)HDFS。HDFS有著高容錯(cuò)性(fault-tolerent)的特點(diǎn),并且設(shè)計(jì)用來(lái)部署在低廉的(low-cost)硬件上。而且它提供高傳輸率(highthroughput)來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集(largedataset)的應(yīng)用程序。HDFS放寬了(relax)POSIX的要求(requirements)這樣可以流的形式訪問(wèn)(streamingaccess)文件系統(tǒng)中的數(shù)據(jù)。
Hadoop是一個(gè)分布式計(jì)算基礎(chǔ)設(shè)施,它包含一系列相關(guān)的子項(xiàng)目,這些項(xiàng)目都隸屬于Apache軟件基金會(huì)(ASF)。ASF為這些開(kāi)源社區(qū)項(xiàng)目提供支持。Hadoop里***的是MapReduce和分布式文件系統(tǒng)(HDFS),其他的子系統(tǒng)提供了一些附加功能,或者在core上增加了一些高級(jí)的抽象。下面Hadoop簡(jiǎn)介向你介紹一下Hadoop子系統(tǒng)的一些附加功能。
Core
分布式系統(tǒng)和通用IO組件和接口(序列化,Java遠(yuǎn)程過(guò)程調(diào)用等等)。
Avro
支持跨語(yǔ)言過(guò)程調(diào)用,持久數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)序列化系統(tǒng)。
MapReduce
構(gòu)建在廉價(jià)的PC機(jī)器上的分布式數(shù)據(jù)處理模型和運(yùn)行環(huán)境。
HDFS
Hadoop簡(jiǎn)介中的HDFS構(gòu)建在廉價(jià)的PC機(jī)器上的分布式文件系統(tǒng)。
Pig
處理海量數(shù)據(jù)集的數(shù)據(jù)流語(yǔ)言和運(yùn)行環(huán)境。pig運(yùn)行在HDFS和MapReduce之上。
HBase
分布式,面向列的數(shù)據(jù)庫(kù)。HBase使用HDFS作為底層存儲(chǔ),同時(shí)使用MapReduce支持批處理模式的計(jì)算和隨機(jī)查詢(xún)。
ZooKeeper
提供分布式、高效的協(xié)作服務(wù)。ZooKeeper提供分布式鎖這樣的原子操作,可以用來(lái)構(gòu)建分布式應(yīng)用。
Hive
分布式數(shù)據(jù)倉(cāng)庫(kù),Hive使用HDFS存儲(chǔ)數(shù)據(jù),提供類(lèi)似SQL的語(yǔ)言(轉(zhuǎn)換為MapReduce任務(wù))查詢(xún)數(shù)據(jù)。
Chukwa
分布式數(shù)據(jù)采集和分析系統(tǒng)。使用HDFS存儲(chǔ)數(shù)據(jù),使用Mapreduce輸出分析報(bào)告。本節(jié)關(guān)于Hadoop簡(jiǎn)介講解完畢。
【編輯推薦】
- Hadoop概念及其用法專(zhuān)家講解
- Hadoop0.20.2集群配置入門(mén)指導(dǎo)手冊(cè)
- Hadoop文件系統(tǒng)如何快速安裝?
- 輕松實(shí)現(xiàn)Hadoop Hdfs配置
- Hadoop完全分布模式安裝實(shí)現(xiàn)詳解
分享標(biāo)題:術(shù)語(yǔ)匯編 Hadoop簡(jiǎn)介
文章出自:http://www.5511xx.com/article/dpdhedp.html


咨詢(xún)
建站咨詢(xún)
