建站
咨詢
售后
建站咨詢
新聞中心
【專稿】“棱鏡門”的爆發(fā),讓愛德華?斯諾登從默默無聞成為頭版頭條，也為蓬勃發(fā)展的大數據產業(yè)籠罩上了一層奇特的光暈。在這場眾說紛紜羅生門下，大數據話題被推到了風口浪尖，國內的大數據市場也因此變得愈加火熱。記者特別采訪到南大通用數據技術有限公司的首席技術官武新，和我們分享了大數據的過去、現在、將來和南大通用目前在數據分析、數據挖掘等方向的開發(fā)現狀和未來目標。
網站建設公司,為您提供網站建設,網站制作,網頁設計及定制網站建設服務,專注于企業(yè)網站制作,高端網頁制作,對成都戶外休閑椅等多個行業(yè)擁有豐富的網站建設經驗的網站建設公司。專業(yè)網站設計,網站優(yōu)化推廣哪家好,專業(yè)成都網站營銷優(yōu)化,H5建站,響應式網站。
武新,南大通用公司高級副總裁兼CTO，法國奧爾良大學博士。國家“千人計劃”專家。畢業(yè)于法國奧爾良大學，有20年的從業(yè)經驗，在著名的甲骨文（ORACLE）任職12年，是最早獲得甲骨文 公司Oracle Certified DBA的數據庫管理專家。武新于2010年獲得中組部實施的國家“千人計劃”榮譽，是工信部認可的數據庫專家。2008年7月，武新回到國內，任南大通用高級副總裁兼CTO，是南大通用GBase 8a 分析型數據庫及其配套工具總設計師。
“大數據”概念價值提升，帶熱數據產業(yè)鏈
數據本身是什么，我們并不陌生。IT經濟社會出現之后，數據成了大家火熱關注的問題。從行業(yè)角度看，在互聯網高速發(fā)展的十幾年中，數據處理技術日新月異，加上移動互聯和物聯網技術和商業(yè)模式的新機遇，加速了數據的產生速度，數據存儲量開始爆炸式增長。“大數據”概念應運而生。
然而“大數據”概念出現之前，數據分析、數據處理等數據庫領域技術在不溫不火中持續(xù)發(fā)展。也出現了數據倉庫、BI等新技術概念。但從媒體角度看卻沒有獲得關注焦點。直到“大數據”概念出現，將整個數據領域推至最高點，成為全球關注的熱點概念。
對于這一現象，武新表示：互聯網的出現，從技術角度和商業(yè)模式上顛覆了傳統行業(yè)的經營狀況，我們每個人的生活方式，也在互聯網和移動互聯網的推動下發(fā)生根本變化。除去概念炒作的影響外，可以說“大數據”概念提升了數據本身的價值。數據本身沒有模型，或者說沒有一個量化的方法。因此，我們無法給出一個明確的價格；但是，在大數據的推動下，企業(yè)對數據的重視程度進一步提升，讓我們看到了數據的價值體現和資源地位。
除此之外，數據倉庫、BI等早早出現的技術，在“大數據”的帶動下在應用上更加活躍。接下來的大數據時代，是人類信息社會的收官階段。之前的計算機時代和互聯網時代，都是為大數據時代做鋪墊和準備的。計算機時代的核心是計算能力，極大提高了人們對數據的處理能力；互聯網時代解決了信息移動和連接的問題；而大數據時代，可將世界萬事萬物通通數據化，讓人們在數據利用中優(yōu)化現實操作和行為，令全球系統的運行更為高效。
所以說“大數據”的出現，不僅開啟了數據領域的極速發(fā)展。對該領域的開發(fā)者而言，也迎來了最佳發(fā)展階段。
多方面因素，促使數據分析使用門檻降低
行業(yè)里面有這樣一種說法：“大數據分析是有錢人的游戲”。
關于這一說法，武新談了自己的觀點：“如果時間倒退5年，這個觀點是成立的。在過去，我們去做數據倉庫，做BI，確實需要很大的投資，不僅是在軟件和硬件的大量投入；在高端人才的招攬上，也要投入大量的資金和精力。但是，隨著互聯網行業(yè)的推動，數據生產速度加快，數據分析和數據處理技術也日益完善，大數據分析的門檻慢慢降低。究其原因，主要有三點。
- 云計算的出現
- 互聯網技術的飛速發(fā)展，開源力量凸顯
- 大批高技能人才涌現
基于以上原因，大數據分析所需投入資源下降，國內各大行業(yè)公司普遍使用大數據分析技術。然而，隨之而來的問題就是，大數據市場的競爭狀態(tài)加據，單位生存空間變窄。如何定位自我位置，抓取獨特身份，顯得尤為重要，也成了數據庫公司的思考難題?！?/p>
錯位競爭，特色產品面對專用市場
“錯位競爭”，特色產品面對專用市場，是南大通用的整體戰(zhàn)略定位。
武新解釋說：“南大通用創(chuàng)立之初，董事長崔維力先生提出了這樣的戰(zhàn)略方式。我們看到，在傳統數據庫市場IBM、微軟等幾家大型公司占據了幾乎整個市場份額，在行存儲技術領域做到了極致，技術市場達到了飽和狀態(tài)。因此，在這種情況下，我們很難在傳統市場里分得一杯羹。但是在新興的數據分析領域，我們可以與國際巨頭站在同一個起跑線，，我們的產品可以在市場上比他們表現的還要好。這就是所謂的 ‘錯位競爭’，做專用數據庫，發(fā)力細分市場?！?/p>
做為專業(yè)數據庫產品，在存儲方式上，南大通用采用列存儲模式。在數據上，更快捷的進行聚合、增組、關聯；更加便于進行大規(guī)模的數據分析、數據統計。對IO的要求也大大下降，擁有較高的數據壓縮比，適合做B型運算。在架構上，不同于傳統數據庫的垂直架構，而是像Hadoop一樣的橫向擴展，相對于傳統數據來說在計算能力有明顯的優(yōu)勢。
在過去20年，幾乎一種數據庫平臺，就能滿足所有應用類型。但是，隨著數據類型的細分，這樣的數據處理模式漸漸無法滿足用戶需求，產生越來越多瓶頸。演變到現在，數據處理和應用形成了朝細分市場發(fā)展的模式，再次肯定了南大通用戰(zhàn)略方針的正確性。所謂細分，就是對某一類數據或某一類應用，做專門的處理技術。精通特定領域的數據分析，特色產品面對專用市場 ，根據不同需求，做不同產品。
#p#
專用數據庫產品：分析數據庫GBase 8a
GBase 8a，是南大通用投入最大的一款分析數據庫產品。GBase 8a采用了列存、智能查詢、高效壓縮、雙向并行、自適應優(yōu)化等多項新技術，打破了以往提高性能只能靠增加數據庫的容量，建很多索引的常規(guī)，使得GBase 8a既有高性能又有很高的數據壓縮比。
武新指出：“經過用戶實際測試，在典型分析型應用中表現出：1、高性價比：幾乎不用調優(yōu)就可以達到高性能，不需要考慮如何建索引，如何分區(qū)等問題。占有磁盤空間大大降低,節(jié)省大量存 儲設備費用,是傳統數據庫的1/5甚至更高，使用通用、中低端的存儲設備和服務器就可以達到很高的性能;2、高性能: 與國際傳統數據庫相比在批量聚集、統計性能;即席查詢性能、模糊查詢性能等方面都有幾倍到幾十倍的提高;3、高可用性：安裝、調優(yōu)、維護、擴展非常簡單， 好用。”
添加非結構性數據處理技術，幫助用戶解決Hadoop平臺問題
經過幾十年信息化發(fā)展，傳統行業(yè)用戶積累了大量數據。其中結構化數據占大多數。ERP等各種系統產生的數據，也基本上都是結構化數據類型。然而最近幾年，我們不難發(fā)現，半結構化數據和非結構化數據數量迅猛增長，尤其是半結構化數據的數量。
對此，武新認為：“今天的大數據概念里，從數據特征看，半結構化數據和非結構化數據的比重占到90%以上。半結構化數據，有類似文檔這樣的東西；非結構化數據以視頻為主。針對這一類數據的處理，基于Hadoop的平臺更為擅長。目前，我們Gbase 8a集群，已經將全文檢索—一種半結構化數據處理技術，加入到其中去；在一步一步的朝處理半結構化、非結構化數據的方向發(fā)展。我們的目標，要做一個面向企業(yè)和行業(yè)，全數據處理產品和平臺。未來我們的研發(fā)目標，將把非結構化數據的處理，做為首要任務。盡可能多的跟開源進行對接。因為在這個領域，開源已經有了很多非常優(yōu)秀的內容。對接之后，以這兩種技術的優(yōu)勢，為用戶提供一個平臺，全面處理各種類型數據?！?/p>
Hadoop 分布式計算平臺以其在處理海量數據中的高可靠性、高擴展性等諸多優(yōu)點，得到了大家的廣泛認可和共識。Hadoop作為一個云計算平臺，它的出現，解決了單個PC機計算能力薄弱的問題，可以同時在幾百、幾千個PC機上提供強大的計算能力。在企業(yè)中，作為一種ETL工具，在處理海量數據上，有著非常明顯的優(yōu)勢。傳統的數據庫無法做到。在復雜的數據模型挖掘、預測模型的計算上，也占有霸主地位。但是，不可否認的是，在使用過程中，依然存在某些問題。這也是南大通在結合這樣一個產品的同時，亟需解決的問題之一。
南大通用的的很多用戶已經開始嘗試使用Hadoop技術進行數據處理和進行一些項目實驗。武新表示： “面對這樣一個優(yōu)秀的平臺，我們所要做的有兩點：第一，努力將Hadoop平臺企業(yè)化。Hadoop企業(yè)化，就是要把Hadoop平臺變成一款真正的產品，更加方便的供用戶使用；未來幾年或許能實現，但就目前而言還沒有達到這樣的成熟度。第二，解決技術更新和用戶想要穩(wěn)定環(huán)境之間的矛盾，為用戶的穩(wěn)定使用提供服務?！?/p>
堅持通用數據庫發(fā)展，開始新技術應用實踐
目前為止，國內行業(yè)大數據市場中，政府的金融、電信等行業(yè)的整個IT架構，還是建立在基于小型機的傳統架構基礎上；核心業(yè)務，依舊采用傳統數據庫模式。隨著非結構和半結構數據的大規(guī)模增長，這一兩年開始，一部分架構開始嘗試基于分布式計算模型，例如Hadoop、MPP等技術的嘗試。對于這一變化趨勢，武新認為：“Hadopp、MPP等分布式計算模型在處理某些業(yè)務上的明顯優(yōu)勢，促使金融、電信領域愿意去嘗試這項技術。除此之外，在數據量上，無論是金融、電信還是政府部門，都在進行從TB到PB的級別遷升；數據量級上將迎來一個新的里程碑，所以對數據處理技術上的要求，也促使了他們投入分布式計算模型的應用的步伐?！?/p>
對于未來的國內數據庫市場發(fā)展，雖然微軟、IBM等公司占據了整個市場，但在通用數據庫產品上，仍然要堅持去投入。武新覺得：“經過幾十年的技術積累，國內數據分析領域在數據倉庫、BI等技術上有了絕對性的建設。目前要做的，是思考如何進行行業(yè)轉型？新一代數據倉庫怎么做？新一代BI是什么樣子的？在BI方面，南大通用也將進行投入，做一款動態(tài)BI產品，實現人機交互模式，這也是未來大數據發(fā)展的方向，對傳統BI也將起到良好的推進作用?！?/p>
因此，國產數據庫在繼續(xù)投入通用數據庫市場的同時，努力開發(fā)下一代新型技術，在新的數據分析領域開辟自己的領地，在激烈的數據庫市場中切割出自己的細分市場，是提升自我市場競爭力和改進自身現狀的最佳選擇。
標題名稱：專訪本土數據庫CTO武新：談如何發(fā)力細分大數據市場
鏈接地址：http://www.5511xx.com/article/cosoghd.html
