去哪兒網(wǎng)馬文： ESAAS平臺技術開發(fā)實戰(zhàn)

作者：ZC 2017-03-27 17:50:12
新聞
系統(tǒng)運維
SaaS 利用Mesos/Docker技術開發(fā)的Elasticsearch SAAS(ESAAS)平臺是2016年3/4月份剛剛上線的系統(tǒng)，是一個比較年輕的系統(tǒng)。在這個系統(tǒng)的建設過程中，主要遇到了三個方面的問題。

公司主營業(yè)務：網(wǎng)站設計、做網(wǎng)站、移動網(wǎng)站開發(fā)等業(yè)務。幫助企業(yè)客戶真正實現(xiàn)互聯(lián)網(wǎng)宣傳，提高企業(yè)的競爭能力。創(chuàng)新互聯(lián)公司是一支青春激揚、勤奮敬業(yè)、活力青春激揚、勤奮敬業(yè)、活力澎湃、和諧高效的團隊。公司秉承以“開放、自由、嚴謹、自律”為核心的企業(yè)文化，感謝他們對我們的高要求，感謝他們從不同領域給我們帶來的挑戰(zhàn)，讓我們激情的團隊有機會用頭腦與智慧不斷的給客戶帶來驚喜。創(chuàng)新互聯(lián)公司推出城關免費做網(wǎng)站回饋大家。

 　　馬文，去哪兒網(wǎng)平臺事業(yè)部數(shù)據(jù)平臺研發(fā)工程師, 于2015年7月份加入去哪兒網(wǎng), 在平臺事業(yè)部從事運維開發(fā)工作。其工作范圍主要有Mesos / Marathon / Docker等資源管理調(diào)度和容器方面的研究，ELK日志收集方面的研究，Elasticsearch數(shù)據(jù)搜索技術的研究以及Elasticsearch SAAS平臺的建設和運維工作。

　　馬文先生所在的去哪兒網(wǎng)ops部門屬于運維和開發(fā)部門，主要負責公司基礎設施的開發(fā)和保障，為公司提供基礎平臺的建設與基礎公共設施的建設。采訪過程中，馬文先生告訴筆者，作為公司的后勤保障部門，我們的工作就是為公司的其他業(yè)務部門提供優(yōu)質(zhì)的服務，例如某個業(yè)務需要搜索服務，我們就為他們提供搜索平臺；某個部門要使用日志收集功能，就會為他們提供這一服務。因此，如何建設一個強大的系統(tǒng)平臺，至關重要。為此，我們利用Mesos/Docker技術開發(fā)了Elasticsearch SAAS(ESAAS)平臺。

　　Elasticsearch SAAS(ESAAS)平臺在開發(fā)過程中遇到的***困難是什么?是如何解決的?隨后，筆者就這一話題與馬文先生進行了溝通。在談到相關的技術話題后，馬文先生在回答筆者提問時充分體現(xiàn)出了一名研發(fā)工程師的嚴謹，講話思維敏捷，邏輯清晰，除了技術上的相關內(nèi)容溝通外，沒有過多的話語。

　　馬文先生表示，利用Mesos/Docker技術開發(fā)的Elasticsearch SAAS(ESAAS)平臺是2016年3/4月份剛剛上線的系統(tǒng)，是一個比較年輕的系統(tǒng)。在這個系統(tǒng)的建設過程中，主要遇到了三個方面的問題。

　　***，在系統(tǒng)建設初期遇到了服務編排的問題，這也是大部分私有云服務最核心的問題，主要是解決怎么才能把系統(tǒng)中的各個組件合理的編排在一個流程之內(nèi)。在遇到這個問題后，團隊積極去尋找一些業(yè)內(nèi)比較好的開源的成果，一是參考了ES官方提供的Elasticsearch Cloud這項服務，它是一個基于ES的基礎的云服務平臺。二是參考了亞馬遜提供的基礎云服務。除此之外，我們還結合公司內(nèi)部的實際使用情況，比如在沒有進行這項業(yè)務之前，公司各個業(yè)務部門是怎么樣使用ES服務的，進行了系統(tǒng)的設計。

　　因此，在Elasticsearch SAAS(ESAAS)平臺開發(fā)過程中，主要參考了業(yè)界比較好的開源系統(tǒng)，結合公司內(nèi)部的實際情況，進行了設計和開發(fā)。

　　第二，在服務上線后，后期的開發(fā)和維護過程中遇到的***的問題是私有云平臺內(nèi)部資源過熱。所謂資源過熱，是因為Elasticsearch SAAS(ESAAS)平臺是一個資源池化的系統(tǒng)，把所有的資源都放到一個池子當中，就會出現(xiàn)這個問題。原因是由于我們提供的ES服務是以集群為單位的，每個業(yè)務線向我們申請ES服務時有時會造成資源扎堆的情況，例如某幾臺服務器由于Mesos調(diào)度的結果就會有比較集中的ES節(jié)點，就會造成幾種情況發(fā)生。***種是某些服務器的磁盤已經(jīng)用滿，而其他服務器的磁盤利用率則不高。第二種是計算I/O比較大的幾個集群扎堆在一起，導致這些服務器的I/O會非常高，其他服務器利用率就會較低。

　　在解決資源過熱的問題上，分成了三個步驟。***步是統(tǒng)計整體平臺中資源的情況，統(tǒng)計磁盤扎堆的情況、I/O扎堆的情況，并將統(tǒng)計的結果做聚合分析，進行直觀展示，這樣就能看到集群里面哪一塊局部過熱。第二步是人工調(diào)整，根據(jù)***步的展示結果，通過人工遷移的方法去調(diào)整過熱的點，進行平衡使用。通過逐步調(diào)整，就會總結出一套規(guī)律和算法模式。第三步是根據(jù)人工調(diào)整的規(guī)則，變成自動化的處理，將重復的人工勞動，變成自動化。

　　馬文先生表示，Elasticsearch SAAS(ESAAS)平臺開發(fā)已經(jīng)進入到第二步的調(diào)整，并且總結了一些經(jīng)驗，接下來將會進入第三步，將重復的人工勞動變成自動化。逐步的系統(tǒng)就會自動解決資源過熱的情況，不再需要人工參與。他表示，目前系統(tǒng)已經(jīng)覆蓋了30+的業(yè)務，在系統(tǒng)上已經(jīng)有50個集群，已經(jīng)承載了公司大部分的ES服務。存儲規(guī)模已經(jīng)能夠達到200TB+的數(shù)據(jù)存儲量。此外，私有云的構建模式已經(jīng)在公司推廣開來，其他的部門也在按照我們這種私有云的模式在后續(xù)構建一些其他相關的服務平臺。

　　在采訪結束前，筆者詢問了馬文先生對WOT峰會的一些建議，馬文先生表示，WOT不光是技術交流的峰會，更多的是一個平臺，技術人共同成長的平臺。在這個平臺上，有很多技術牛人聚集在一起，在一起分享，不僅對于我個人，對于技術圈都有推動作用。對我個人的提高也有推動。他建議我們應該多增加一些線下的技術交流，以推動技術人的共同成長。

新聞名稱：去哪兒網(wǎng)馬文：ESAAS平臺技術開發(fā)實戰(zhàn)
本文來源：http://www.5511xx.com/article/dpjijdd.html