有一臺以上服務(wù)器 就有理由嘗試云操作系統(tǒng)

2015-11-16 13:46:54

云計算 Mattermark是一家專門面向私營企業(yè)交付數(shù)據(jù)的高人氣初創(chuàng)企業(yè)。作為初創(chuàng)公司，其IT基礎(chǔ)設(shè)施規(guī)模還是相對較小的。不過正是憑借著這種初創(chuàng)特質(zhì)，其也得以順利擺脫了眾多規(guī)模更大且更為成熟的企業(yè)所難以解決的運(yùn)營效率低下難題。與眾多大型企業(yè)一樣，Mattermark公司同樣使用Apache Mesos以及Marathon框架來解決自身面對的獨特問題。

創(chuàng)新互聯(lián)建站專注于松陽企業(yè)網(wǎng)站建設(shè),成都響應(yīng)式網(wǎng)站建設(shè),商城系統(tǒng)網(wǎng)站開發(fā)。松陽網(wǎng)站建設(shè)公司,為松陽等地區(qū)提供建站服務(wù)。全流程定制網(wǎng)站制作，專業(yè)設(shè)計，全程項目跟蹤，創(chuàng)新互聯(lián)建站專業(yè)和態(tài)度為您提供的服務(wù)

【編者的話】Mesos往往以其在大規(guī)模生產(chǎn)環(huán)境下的成熟案例為大家所熟知。但其實Mesos對于互聯(lián)網(wǎng)初創(chuàng)企業(yè)也是非常有用的。最顯著的一點：如果從一開始就使用基于Mesos的云操作系統(tǒng)，就可以讓一套IT架構(gòu)來支撐業(yè)務(wù)在不同階段的飛速發(fā)展。并讓技術(shù)人員更關(guān)注業(yè)務(wù)，而不是把精力花在服務(wù)器配置上。借用Rahman的一句話，"只要大家擁有一臺以上的服務(wù)器，都有理由來嘗試云操作系統(tǒng)。"

初創(chuàng)公司Mattermark采用Mesos技術(shù)

Mattermark是一家專門面向私營企業(yè)交付數(shù)據(jù)的高人氣初創(chuàng)企業(yè)。作為初創(chuàng)公司，其IT基礎(chǔ)設(shè)施規(guī)模還是相對較小的。不過正是憑借著這種初創(chuàng)特質(zhì)，其也得以順利擺脫了眾多規(guī)模更大且更為成熟的企業(yè)所難以解決的運(yùn)營效率低下難題。與眾多大型企業(yè)一樣，Mattermark公司同樣使用Apache Mesos以及Marathon框架來解決自身面對的獨特問題。

這家誕生剛剛兩年的年輕公司，僅僅運(yùn)行著一些Amazon Web Services實例，存儲著GB級別大小的數(shù)據(jù)，卻認(rèn)為他們的IT架構(gòu)已經(jīng)變得不可為繼，會在不遠(yuǎn)的將來影響業(yè)務(wù)的發(fā)展。在這方面，最突出的實際難題就是數(shù)據(jù)處理任務(wù)，特別是Mattermark在日常運(yùn)營當(dāng)中不可避免的大量數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)以及索引工作——過去，這些工作一直在以缺乏充分理論指導(dǎo)的隨意方式進(jìn)行。

“我們擁有大量運(yùn)行著重要工作內(nèi)容的EC2實例，但沒人了解其具體運(yùn)行機(jī)制，”Mattermark公司機(jī)器學(xué)習(xí)工程師Samiur Rahman解釋稱。“這確實非常麻煩?！?/p>

該公司的管理層意識到，要想真正為各私營企業(yè)客戶提供可靠的數(shù)據(jù)源，必須要對現(xiàn)有運(yùn)營機(jī)制進(jìn)行整頓?！拔覀兒芮宄?，未來的一到兩年內(nèi)公司規(guī)模會出現(xiàn)持續(xù)擴(kuò)張，”Rahman表示?！八晕覀円蠢^續(xù)安于現(xiàn)有環(huán)境并不斷加以構(gòu)建，要么就像其它企業(yè)那樣全盤淘汰現(xiàn)有設(shè)施并直接向現(xiàn)代基礎(chǔ)設(shè)施轉(zhuǎn)移?！?/p>

利用Mesos進(jìn)行基礎(chǔ)設(shè)施調(diào)度

Mattermark公司在幾個月之前決定利用Mesos對自身基礎(chǔ)設(shè)施進(jìn)行重新設(shè)計，而且同時針對新系統(tǒng)提供了幾項必須能夠?qū)崿F(xiàn)的特殊要求：

需要在開發(fā)人員與公司AWS實例之間建立一套抽象層。能夠?qū)⑷蝿?wù)分發(fā)至不同的AWS實例當(dāng)中。能夠根據(jù)特定任務(wù)的實際需要為其分配對應(yīng)資源。面向任務(wù)調(diào)度實現(xiàn)高度細(xì)化的控制機(jī)制。對資源進(jìn)行隔離以避免相鄰實例爭奪資源的問題。

該公司目前在Mesos之上運(yùn)行有Chronos與Marathon，而此舉已經(jīng)帶來了理想的回報。Mattermark公司如今能夠以受控方式對批量任務(wù)進(jìn)行調(diào)度，同時以智能化方式將不同類型的任務(wù)運(yùn)行在同一資源池中，從而提高AWS的資源利用率。舉例來講，其能夠?qū)⒍鄠€低資源型網(wǎng)頁獲取任務(wù)與其它內(nèi)存與CPU使用率較高的機(jī)器學(xué)習(xí)任務(wù)運(yùn)行在同一個實例當(dāng)中。

“能夠切實完成此類資源分配(即允許這些工作負(fù)載在同一資源之上共存)的解決方案非常重要，”Rahman指出。如此一來，Mattermark公司不僅能夠通過一套可靠的方式實現(xiàn)任務(wù)流程自動化，同時也能夠在工作效果不變的前提下減少AWS實例使用量并由此降低使用成本。

相較于以往的服務(wù)器監(jiān)控最佳實踐，即企業(yè)需要從起始階段就要考慮到資源占用率趨近100%時的應(yīng)對措施，“我們的監(jiān)控機(jī)制有所不同，因為如今80%到90%才是理想的資源利用率，”他解釋道?！斑@意味著我們能夠更加充分地利用已有資源?！?/p>

盡管Mattermark公司目前仍有一部分工作負(fù)載運(yùn)行在由Elastic Load Balancer支持的AWS裸機(jī)實例當(dāng)中(即非Mesos工作節(jié)點)，但Rahman強(qiáng)調(diào)稱那些需要高可用性保障的任務(wù)已經(jīng)運(yùn)行在Mesos-Marathon環(huán)境之內(nèi)。隨著Mattermark公司不斷推出新的工作負(fù)載與任務(wù)類型，其也將全部由新系統(tǒng)負(fù)責(zé)承載。

“我們致力于讓各類工作負(fù)載與任務(wù)運(yùn)行在Mesos當(dāng)中，”他指出。而且由于Mattermark公司已經(jīng)開始廣泛利用預(yù)配置Docker容器作為應(yīng)用程序運(yùn)行環(huán)境，其目前能夠以相對簡單的方式完成各類進(jìn)程由純AWS實例遷移至運(yùn)行在AWS實例之上的Mesos集群中的工作。

以“積極態(tài)度”迎接大數(shù)據(jù)挑戰(zhàn)

不過就Mattermark公司的情況而言，Mesos的真正價值在于允許其保持基礎(chǔ)設(shè)施規(guī)模與業(yè)務(wù)發(fā)展同步擴(kuò)張——反之亦然。換言之，讓IT資源隨著業(yè)務(wù)的發(fā)展而平滑增加，這樣既不會讓IT架構(gòu)成為業(yè)務(wù)發(fā)展的瓶頸，也不會因需要預(yù)留大量IT資源而造成浪費(fèi)。

盡管目前規(guī)模僅為150 GB的MySQL數(shù)據(jù)庫很難被定義為“大數(shù)據(jù)”，但Rahman表示Mattermark公司計劃在未來幾年當(dāng)中對其規(guī)模進(jìn)行顯著拓展。而其中最突出的理由就是，Mattermark公司的從業(yè)時間越長，其需要在數(shù)據(jù)庫內(nèi)為每家企業(yè)客戶保存的數(shù)據(jù)量也就越大。

但從更具戰(zhàn)略意義的角度出發(fā)，Mattermark公司希望能夠?qū)⑵鋽?shù)據(jù)庫涵蓋能力由100萬家企業(yè)擴(kuò)展到全球范圍內(nèi)的數(shù)億家企業(yè)。隨著企業(yè)客戶數(shù)量的增長，其當(dāng)然也希望為每位客戶提供更加豐富的數(shù)據(jù)類型——包括員工數(shù)量、網(wǎng)站流量、融資信息、相關(guān)新聞以及社交媒體關(guān)注度等等。

“我們的業(yè)務(wù)規(guī)模取決于我們實現(xiàn)數(shù)據(jù)更新的速度以及將更多企業(yè)客戶納入數(shù)據(jù)庫的能力，”Rahman指出。

在他看來，Mesos能夠從多個角度帶來助益，使得Mattermark公司更為輕松地引入各類必要的新型數(shù)據(jù)處理技術(shù)，包括Kafka以及Spark等，并在運(yùn)行大規(guī)模處理任務(wù)時快速添加對應(yīng)容量?？偠灾摴驹诨A(chǔ)設(shè)施與任務(wù)之間的契合度方面投入的精力越少，那么其專注于在正確時間對正確數(shù)據(jù)進(jìn)行訪問、分析以及交付的能力也就越強(qiáng)。

“我們希望運(yùn)營體系能夠時刻為規(guī)模伸縮做好準(zhǔn)備，從而幫助我們獲取更多數(shù)據(jù)并從其中發(fā)掘出更多有價值信息，”Rahman表示。“另外，我們也希望能夠繼續(xù)保持向客戶交付數(shù)據(jù)的速度?！?/p>

初創(chuàng)公司也要勇于嘗試Mesos或數(shù)據(jù)中心操作系統(tǒng)

著眼于未來，Rahman表示他希望看到Mattermark公司將運(yùn)營體系由開源Mesos遷移至Mesosphere數(shù)據(jù)中心操作系統(tǒng)(國內(nèi)的朋友可以選擇數(shù)人云哦)，這在很大程度上意味著擺脫軟件組件更新以及漏洞修復(fù)等工作帶來的困擾。盡管目前尚在對DCOS的Early Access版本進(jìn)行早期實驗，但他已經(jīng)可以在30分鐘之內(nèi)設(shè)置起一套以往通常需要數(shù)個星期才能搭建完成的系統(tǒng)。

“初創(chuàng)企業(yè)應(yīng)該了解DCOS，因為它能夠讓運(yùn)營工作變得更為輕松，”他解釋稱。另外，初創(chuàng)企業(yè)不必因為的自己運(yùn)營規(guī)模并不像Yelp、蘋果或者是Twitter那么龐大，而害怕嘗試DCOS或者是開源Mesos組件。

“Mesos天然具備的開發(fā)者自由空間與良好運(yùn)營效率讓我們從系統(tǒng)重新設(shè)計當(dāng)中獲得了切實回報，”Rahman總結(jié)稱。“只要大家擁有一臺以上的服務(wù)器，都有理由在這方面做出嘗試?！?/p>

原文鏈接：http://blog.dataman-inc.com/20151112-startup-use-mesos/

分享標(biāo)題：有一臺以上服務(wù)器就有理由嘗試云操作系統(tǒng)
網(wǎng)頁鏈接：http://www.5511xx.com/article/dhsjdss.html