常見(jiàn)分布式文件系統(tǒng)大盤點(diǎn)，想了解大數(shù)據(jù)先從存儲(chǔ)開(kāi)始

作者：程序員小鳥(niǎo) 2018-08-06 16:03:13
存儲(chǔ)
存儲(chǔ)軟件
分布式 大數(shù)據(jù)的最底層的內(nèi)容就是存儲(chǔ)，只有把數(shù)據(jù)存在能高效訪問(wèn)的分布式系統(tǒng)下才能提升工作效率。小編帶大家來(lái)盤點(diǎn)一下這些常見(jiàn)的分布式文件系統(tǒng)。

成都創(chuàng)新互聯(lián)公司作為成都網(wǎng)站建設(shè)公司，專注網(wǎng)站建設(shè)公司、網(wǎng)站設(shè)計(jì)，有關(guān)企業(yè)網(wǎng)站設(shè)計(jì)方案、改版、費(fèi)用等問(wèn)題，行業(yè)涉及成都白烏魚(yú)等多個(gè)領(lǐng)域，已為上千家企業(yè)服務(wù)，得到了客戶的尊重與認(rèn)可。

大數(shù)據(jù)的***層的內(nèi)容就是存儲(chǔ)，只有把數(shù)據(jù)存在能高效訪問(wèn)的分布式系統(tǒng)下才能提升工作效率。小編帶大家來(lái)盤點(diǎn)一下這些常見(jiàn)的分布式文件系統(tǒng)：

Lustre

Lustre是一個(gè)非常安全，規(guī)模很大的分布式文件系統(tǒng)，最早由CFS（Cluster File System Inc.）公司研發(fā)，***由CFS、惠普和因特爾三家公司一起與2003年推出***版發(fā)布版，發(fā)展到現(xiàn)在已經(jīng)非常成熟。其存儲(chǔ)量通常以PB起步，節(jié)點(diǎn)支持?jǐn)?shù)也能打到萬(wàn)級(jí)。但是其對(duì)設(shè)備有特殊要求。

HDFS

HDFS是Hadoop內(nèi)置的分布式文件系統(tǒng)，之前也有過(guò)介紹。HDFS***的優(yōu)勢(shì)就是價(jià)格低廉，因此也使用極為廣泛。并且其高可靠性，高容錯(cuò)性也讓使用者非常信賴。雖然HDFS的存儲(chǔ)級(jí)別也在PB以上，但是對(duì)于小文件過(guò)多的情況HDFS不能很好的支持。

QFS

QFS和HDFS類似，都是為了解決高效順序讀寫(xiě)大量數(shù)據(jù)的問(wèn)題。但是QFS在性能上優(yōu)于HDFS，讀寫(xiě)效率提升綜合越60%?，F(xiàn)在QFS還比較小眾，沒(méi)有經(jīng)過(guò)大量的使用測(cè)試，因此還不能用于大規(guī)模的生產(chǎn)環(huán)境。

GlusterFS

GlusterFS也是一個(gè)PB級(jí)別的集群文件系統(tǒng)，其思想是將集群內(nèi)所有服務(wù)器的存儲(chǔ)空間匯到一個(gè)大的網(wǎng)絡(luò)系統(tǒng)上。這樣做***的特點(diǎn)就是無(wú)中心，不會(huì)有單點(diǎn)故障。

Alluxio

Alluxio是***個(gè)基于內(nèi)存的分布式文件系統(tǒng)，因此其相應(yīng)速度也會(huì)超出普通的分布式文件系統(tǒng)很多，例如HDFS就比它慢數(shù)百倍。并且Alluxio和Spark也有良好的交互。最重要的是Alluxio中國(guó)人開(kāi)發(fā)的，文檔都是中文的，對(duì)于被英文文檔困擾很久的小伙伴絕對(duì)是福音。

常見(jiàn)分布式文件系統(tǒng)大盤點(diǎn)，想了解大數(shù)據(jù)先從存儲(chǔ)開(kāi)始

Ceph

Ceph也是一個(gè)沒(méi)有單點(diǎn)故障的分布式文件系統(tǒng)，Ceph的每個(gè)節(jié)點(diǎn)上都有一小部分資源用于計(jì)算節(jié)點(diǎn)的數(shù)據(jù)信息，從而非常優(yōu)秀的實(shí)現(xiàn)負(fù)載均衡。

PVFS

PVFS是一個(gè)并行虛擬文件系統(tǒng)，他能很好的支持linux上的原聲命令和工具，例如rm、dd、cat等。但是PSFS是單管理節(jié)點(diǎn)的，因此存在單點(diǎn)故障，并且在啟動(dòng)后無(wú)法靈活的修改。

當(dāng)前題目：常見(jiàn)分布式文件系統(tǒng)大盤點(diǎn)，想了解大數(shù)據(jù)先從存儲(chǔ)開(kāi)始
網(wǎng)站地址：http://www.5511xx.com/article/ccedgso.html