第七批大數(shù)據(jù)批處理平臺(tái)與分布式分析型數(shù)據(jù)庫(kù)測(cè)試觀察

作者：ZL 2018-12-27 00:10:25

企業(yè)動(dòng)態(tài)

分布式

創(chuàng)新互聯(lián)公司專業(yè)IDC數(shù)據(jù)服務(wù)器托管提供商，專業(yè)提供成都服務(wù)器托管，服務(wù)器租用，成都聯(lián)通服務(wù)器托管，成都聯(lián)通服務(wù)器托管，成都多線服務(wù)器托管等服務(wù)器托管服務(wù)。

 　　2018年12月13日，由中國(guó)信息通信研究院、中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)主辦，TC601大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)承辦的“2018數(shù)據(jù)資產(chǎn)管理大會(huì)”在京召開。會(huì)上，中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)常務(wù)副秘書長(zhǎng)代曉慧和中國(guó)信息通信研究院黨委副書記喬發(fā)民，共同為通過(guò)第七批分布式批處理平臺(tái)基礎(chǔ)能力/性能和分析型數(shù)據(jù)庫(kù)基礎(chǔ)能力/性能測(cè)評(píng)的15家企業(yè)頒發(fā)證書。

大數(shù)據(jù)行業(yè)風(fēng)向標(biāo)，測(cè)試規(guī)模屢創(chuàng)新高

經(jīng)過(guò)4年的發(fā)展，DCA大數(shù)據(jù)產(chǎn)品能力測(cè)評(píng)，已經(jīng)成為國(guó)內(nèi)權(quán)威的評(píng)測(cè)體系，成為廠商產(chǎn)品研發(fā)和用戶采購(gòu)選型的風(fēng)向標(biāo)。目前，已進(jìn)行過(guò)的評(píng)測(cè)中，性能評(píng)測(cè)的最大測(cè)試數(shù)據(jù)集達(dá)100TB，數(shù)據(jù)規(guī)模全球領(lǐng)先;分布式批處理平臺(tái)基礎(chǔ)能力測(cè)試集群規(guī)模最大達(dá)到10000節(jié)點(diǎn)，由阿里云完成;性能測(cè)試集群規(guī)模最大達(dá)到300節(jié)點(diǎn)，其中華為通過(guò)了300個(gè)物理機(jī)節(jié)點(diǎn)的性能評(píng)測(cè)，阿里云通過(guò)300個(gè)云服務(wù)節(jié)點(diǎn)的性能評(píng)測(cè)，新華三通過(guò)了200個(gè)物理機(jī)節(jié)點(diǎn)的性能評(píng)測(cè)。

評(píng)測(cè)項(xiàng)目覆蓋廣泛，評(píng)測(cè)服務(wù)可靠權(quán)威

同時(shí)，分布式批處理平臺(tái)基礎(chǔ)能力評(píng)測(cè)囊括可用性、運(yùn)維管理、兼容性、功能、安全、多租戶、易用性、擴(kuò)展性共九大類測(cè)試項(xiàng);分析型數(shù)據(jù)庫(kù)基礎(chǔ)能力評(píng)測(cè)囊括功能、運(yùn)維、安全、擴(kuò)展性、可用性、兼容性共六大類測(cè)試項(xiàng);分布式批處理平臺(tái)性能評(píng)測(cè)包含SQL負(fù)載、NoSQL負(fù)載、機(jī)器學(xué)習(xí)三大項(xiàng);分析型數(shù)據(jù)庫(kù)性能評(píng)測(cè)包含SQL負(fù)載、混合負(fù)載、壓力測(cè)試、穩(wěn)定性測(cè)試四大項(xiàng)。各品類評(píng)測(cè)項(xiàng)目覆蓋維度廣泛全面，均為業(yè)內(nèi)最權(quán)威最可靠的專業(yè)評(píng)測(cè)。

深度觀察評(píng)測(cè)結(jié)果，發(fā)掘差異研判趨勢(shì)

在2018年6月到2018年11月期間，國(guó)雙科技、航天恒星、騰訊云、南威、新華三、廣州匯智、華宇、中興、浪潮、寶信、數(shù)夢(mèng)工廠、阿里云、航天信息、達(dá)博科技、百度共15家企業(yè)的18個(gè)產(chǎn)品參與了第七批分布式批處理平臺(tái)基礎(chǔ)能力/性能和分析型數(shù)據(jù)庫(kù)基礎(chǔ)能力/性能評(píng)測(cè)。從評(píng)測(cè)整體情況中能夠得到以下的一些觀察。

在分布式批處理平臺(tái)基礎(chǔ)能力方面，產(chǎn)品已經(jīng)成熟穩(wěn)定，總體來(lái)看71%的產(chǎn)品基于HDP和CDH的開源版本進(jìn)行二次開發(fā)，其余基于開源社區(qū)版或者完全自研。與此同時(shí)，容器化、支持AI和對(duì)大規(guī)模集群的支持是分布式批處理平臺(tái)的主要趨勢(shì)。在分析型數(shù)據(jù)庫(kù)基礎(chǔ)能力方面，產(chǎn)品的架構(gòu)和功能差別較大，其中一種是在開源數(shù)據(jù)庫(kù)的基礎(chǔ)上進(jìn)行封裝和二次開發(fā);一種是將SQL引擎嫁接于某種存儲(chǔ)庫(kù)之上;此外還有完全自研的產(chǎn)品。而功能的差異點(diǎn)也主要體現(xiàn)在SQL的兼容、運(yùn)維管理、擴(kuò)展性等方面。在分布式批處理平臺(tái)性能方面，相較上半年的第六批測(cè)試基本持平，在SQL測(cè)試中最優(yōu)成績(jī)和中位數(shù)有小幅下降，HBase測(cè)試成績(jī)總體接近于上一批。在分析型數(shù)據(jù)庫(kù)性能方面，國(guó)雙科技以優(yōu)異的成績(jī)成為本批次唯一通過(guò)了MPP性能評(píng)測(cè)的企業(yè)。

備注：MPP，大規(guī)模并行處理（Massively Parallel Processing），是多個(gè)處理器處理同一程序的不同部分時(shí)該程序的協(xié)調(diào)過(guò)程，工作的各處理器運(yùn)用自身的操作系統(tǒng)和內(nèi)存。

分享文章：第七批大數(shù)據(jù)批處理平臺(tái)與分布式分析型數(shù)據(jù)庫(kù)測(cè)試觀察
分享網(wǎng)址：http://www.5511xx.com/article/copiddd.html