建站
咨詢
售后
建站咨詢
新聞中心
Hadoop Hadoop相信大家都比較熟悉了，這里向大家介紹一下Hadoop中的分布式文件系統(tǒng)HDFS，相信通過本文的介紹大家對HDFS有清晰的認(rèn)識，歡迎大家一起來學(xué)習(xí)HDFS。
創(chuàng)新互聯(lián)公司長期為上千多家客戶提供的網(wǎng)站建設(shè)服務(wù)，團隊從業(yè)經(jīng)驗10年，關(guān)注不同地域、不同群體，并針對不同對象提供差異化的產(chǎn)品和服務(wù)；打造開放共贏平臺，與合作伙伴共同營造健康的互聯(lián)網(wǎng)生態(tài)環(huán)境。為奈曼企業(yè)提供專業(yè)的網(wǎng)站設(shè)計制作、成都做網(wǎng)站，奈曼網(wǎng)站改版等技術(shù)服務(wù)。擁有10余年豐富建站經(jīng)驗和眾多成功案例,為您定制開發(fā)。
本節(jié)和大家學(xué)習(xí)一下Hadoop的分布式文件系統(tǒng)HDFS，主要包括HDFS的設(shè)計思想，還有HDFS的一些相關(guān)功能介紹，希望通過本節(jié)的介紹大家對HDFS有一定的認(rèn)識。
Hadoop的分布式文件系統(tǒng)HDFS的設(shè)計思想：
構(gòu)建一個非常龐大的分布式文件系統(tǒng)。在集群中節(jié)點失效是正常的，節(jié)點的數(shù)量在Hadoop中不是固定的.單一的文件命名空間，保證數(shù)據(jù)的一致性，寫入一次多次讀取.典型的64MB的數(shù)據(jù)塊大小，每一個數(shù)據(jù)塊在多個DN(DataNode)有復(fù)制.客戶端通過NN(NameNode)得到數(shù)據(jù)塊的位置，直接訪問DN獲取數(shù)據(jù)。
NameNode功能：
Hadoop的分布式文件系統(tǒng)HDFS中的NameNode功能。映射一個文件到一批的塊，映射數(shù)據(jù)塊到DN節(jié)點上。集群配置管理，數(shù)據(jù)塊的管理和復(fù)制。處理事務(wù)日志：記錄文件生成，刪除等。因為NameNode的全部的元數(shù)據(jù)在內(nèi)存中存儲，所以NN的內(nèi)存大小決定整個集群的存儲量。NN內(nèi)存中保存的數(shù)據(jù)：
文件列表
每一個文件的塊列表
每一個DN中塊的列表
文件屬性：生成時間,復(fù)制參數(shù),文件許可(ACL)
File,Derectory,Block在內(nèi)存中的大?。℉adoopJIRA頁面）:
File:122+fileName.length
Directory:152+fileName.length
Block:112+24*replication
備注:上面數(shù)據(jù)和jira中不一樣是因為在0.16以上的版本在INode中添加了一個8字節(jié)的數(shù)據(jù)類型為long的permission數(shù)據(jù)。
NN的復(fù)制線程負(fù)責(zé)根據(jù)文件復(fù)制數(shù)量選擇DN，磁盤的使用負(fù)載平衡，DN復(fù)制時的IPC通信負(fù)載平衡。
SecondaryNamenode的功能:
SecondaryNamenode是一個讓人混淆的名字，其實SecondaryNamenode是一個輔助NN處理FsImage和事務(wù)日志的server，它從NN拷貝FsImage和事務(wù)日志到臨時目錄，合并FsImage和事務(wù)日志生成一個新的FsImage，上傳新的FsImage到NN上，NN更新FsImage并清理原來的事務(wù)日志。
DataNode功能：
在本地文件系統(tǒng)存儲數(shù)據(jù)塊，存儲數(shù)據(jù)塊的元數(shù)據(jù)，用于CRC校驗。響應(yīng)客戶端對數(shù)據(jù)塊和元數(shù)據(jù)的請求。周期性的向NN報告這個DN存儲的所有數(shù)據(jù)塊信息?？蛻舳艘鎯?shù)據(jù)時從NN獲取存儲數(shù)據(jù)塊的DN位置列表，客戶端發(fā)送數(shù)據(jù)塊到第一個DN上，第一個DN收到數(shù)據(jù)通過管道流的方式把數(shù)據(jù)塊發(fā)送到另外的DN上。當(dāng)數(shù)據(jù)塊被所有的節(jié)點寫入后，客戶端繼續(xù)發(fā)送下一個數(shù)據(jù)塊。DN每3秒鐘發(fā)送一個心跳到NN，如果NN沒有受到心跳在重新嘗試后宣告這個DN失效。當(dāng)NN察覺到DN節(jié)點失效了,選擇一個新的節(jié)點復(fù)制丟失的數(shù)據(jù)塊。我們再來看一下Hadoop的分布式文件系統(tǒng)HDFS中數(shù)據(jù)塊的問題。
數(shù)據(jù)塊的放置位置和數(shù)據(jù)正確性：
在典型的配置里，數(shù)據(jù)塊一個放在當(dāng)前的節(jié)點，一個放在遠(yuǎn)程的機架上的一個節(jié)點，一個放在相同機架上的一個節(jié)點，多于3個的數(shù)據(jù)塊隨意選擇放置。客戶端選擇最近的一個節(jié)點讀取數(shù)據(jù)。Hadoop使用CRC32效驗數(shù)據(jù)的正確性，客戶端每512個byte計算一次效驗，DN負(fù)責(zé)存儲效驗數(shù)據(jù)?？蛻舳藦腄N獲取數(shù)據(jù)和效驗數(shù)據(jù)，如果效驗出錯，客戶端嘗試另外節(jié)點上復(fù)制的數(shù)據(jù)。
Tips:
單點的NN，現(xiàn)在Hadoop沒有HA的解決方案。在我的概念中Hadoop加上Zookeeper是一個HA的解決方案。事務(wù)日志可以存儲在NM的多個目錄中。比如：一個本地文件系統(tǒng)，一個遠(yuǎn)程文件系統(tǒng)(NFS)。Hadoop沒有快照功能，可以考慮使用LVM或ZFS做系統(tǒng)快照。本節(jié)關(guān)于Hadoop的分布式文件系統(tǒng)HDFS介紹完畢。
本文名稱：Hadoop中分布式文件系統(tǒng)HDFS的設(shè)計思想和功能深入剖析
URL鏈接：http://www.5511xx.com/article/djjjidi.html
