建站
咨詢
售后
建站咨詢
新聞中心
業(yè)務(wù)是滿足公司資本發(fā)展向前走的生力軍，它的腳步永遠(yuǎn)都不應(yīng)該停下來(lái)。與直接參與架構(gòu)的設(shè)計(jì)和研發(fā)人員相比，技術(shù)保障人員是一群默默無(wú)聞的幕后英雄。***的架構(gòu)是不存在的，這就需要技術(shù)保障人員不斷查找并解決問(wèn)題、規(guī)避架構(gòu)風(fēng)險(xiǎn)、完善業(yè)務(wù)以及開(kāi)發(fā)所需要的基礎(chǔ)設(shè)施，為業(yè)務(wù)架構(gòu)的穩(wěn)定運(yùn)行提供強(qiáng)大的支撐，為業(yè)務(wù)線的架構(gòu)設(shè)計(jì)和開(kāi)發(fā)人員做好后勤保障。
浦城網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián)公司,浦城網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為浦城近千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\成都外貿(mào)網(wǎng)站建設(shè)公司要多少錢(qián)，請(qǐng)找那個(gè)售后服務(wù)好的浦城做網(wǎng)站的公司定做！
現(xiàn)在，各類技術(shù)大會(huì)層出不窮，技術(shù)人員有了更多學(xué)習(xí)前沿技術(shù)和設(shè)計(jì)思想的渠道。但是學(xué)習(xí)到的這些思路，是否真的適合公司的業(yè)務(wù)?要解決業(yè)務(wù)架構(gòu)的更種缺點(diǎn)，是否一定要推翻重做?作為技術(shù)保障人員，怎樣在不重建體系的前提下，降低系統(tǒng)的故障率，讓它運(yùn)行得更好?
王春生 秒拍網(wǎng)架構(gòu)師/前新浪系統(tǒng)架構(gòu)師、研發(fā)技術(shù)保障部總監(jiān)
在由高招主辦的“CTO訓(xùn)練營(yíng)”活動(dòng)現(xiàn)場(chǎng)，前手機(jī)微博技術(shù)保障體系負(fù)責(zé)人、現(xiàn)秒拍網(wǎng)架構(gòu)師就上述問(wèn)題與現(xiàn)場(chǎng)同學(xué)進(jìn)行了分享和探討。這位有十余年系統(tǒng)設(shè)計(jì)和技術(shù)架構(gòu)經(jīng)驗(yàn)的老兵認(rèn)為，大多數(shù)情況下，我們目前線上運(yùn)行的架構(gòu)，就是最適合公司業(yè)務(wù)線狀的架構(gòu)。面對(duì)現(xiàn)實(shí)存在的一些問(wèn)題，我們完全沒(méi)必要推翻現(xiàn)有的體系，而是找到一些方式和方案，能夠?qū)崟r(shí)的發(fā)現(xiàn)或者監(jiān)控線上存在的問(wèn)題;同時(shí)通過(guò)相應(yīng)的技術(shù)指標(biāo)，預(yù)判并規(guī)避可能出現(xiàn)的風(fēng)險(xiǎn)。
手機(jī)微博架構(gòu)淺析
2014年，手機(jī)微博的業(yè)務(wù)翻倍增長(zhǎng)，這促使手機(jī)微博的架構(gòu)進(jìn)行了一次重大改造。主要方式是將PHP的Scribe，包括自己定義的PHP模板引擎換成鳥(niǎo)哥寫(xiě)的Yaff；將很多PHP自身運(yùn)算變成了PHP模塊，等等。
王春生首先對(duì)手機(jī)微博架構(gòu)進(jìn)行了簡(jiǎn)單分析。Microservice包括開(kāi)放平臺(tái)的核心池和非核心池兩部分，來(lái)將不同的業(yè)務(wù)進(jìn)行隔離。用戶可以通過(guò)手機(jī)客戶端直接訪問(wèn)CDN獲取圖片，以及直接訪問(wèn)“圖床”Service 來(lái)上傳圖片；MAPI會(huì)請(qǐng)求Microsevice。
王春生坦言，整個(gè)架構(gòu)無(wú)論是從平臺(tái)體系還是從業(yè)務(wù)體系來(lái)講，與許多互聯(lián)網(wǎng)應(yīng)用的架構(gòu)非常相似，無(wú)非就是接入層、業(yè)務(wù)層、數(shù)據(jù)層，當(dāng)然可能有多個(gè)接入層、多個(gè)數(shù)據(jù)層和多個(gè)業(yè)務(wù)層。那么一個(gè)這樣簡(jiǎn)單的結(jié)構(gòu)，它的問(wèn)題到底可能出現(xiàn)在哪兒呢?
上圖是王春生整理出來(lái)的手機(jī)微博遇到最多的問(wèn)題，并將這些問(wèn)題從業(yè)務(wù)及體驗(yàn)、架構(gòu)及技術(shù)保障這三個(gè)層面進(jìn)行了梳理。
分析來(lái)看，這些架構(gòu)所遇到的問(wèn)題基本都差不多。主要所括容量上和容錯(cuò)上的一些問(wèn)題；一些架構(gòu)上的不合理；監(jiān)控、報(bào)警不夠及時(shí)，響應(yīng)的速度和解決問(wèn)題的速度不夠快；技術(shù)債務(wù)和技術(shù)風(fēng)險(xiǎn)等。
要想把這些技術(shù)技術(shù)債務(wù)、技術(shù)風(fēng)險(xiǎn)，包括一些對(duì)架構(gòu)產(chǎn)生影響的外部因素挖掘出來(lái)，首先要解決的問(wèn)題就是監(jiān)控。因?yàn)闊o(wú)法對(duì)問(wèn)題進(jìn)行度量，管理和優(yōu)化也就無(wú)從談起。
監(jiān)控體系實(shí)戰(zhàn)
- 技術(shù)選型：Zabbix
手機(jī)微博監(jiān)控選擇的是Zabbix。王春生談到，其實(shí)任何一款現(xiàn)在主流的開(kāi)源監(jiān)控產(chǎn)品，如Nagios、Zabbix、Ganglia、Bosun等等，幾乎都可以滿足對(duì)監(jiān)控的需求。大家沒(méi)有必要在監(jiān)控系統(tǒng)的選型上費(fèi)太多力氣，而真正花費(fèi)時(shí)間和精力的是在監(jiān)控項(xiàng)的設(shè)計(jì)上，因?yàn)楸O(jiān)控項(xiàng)的設(shè)計(jì)是監(jiān)控工作中最重要的環(huán)節(jié)。
說(shuō)到這里，王春生指出了許多公司運(yùn)維工程師陷入的一個(gè)誤區(qū)——盡管同時(shí)采用了多套不同的監(jiān)控系統(tǒng)，甚至自己寫(xiě)了一部分shell腳本，但線上一些常見(jiàn)問(wèn)題并沒(méi)有得到及時(shí)的報(bào)警。于是不斷有新的監(jiān)控項(xiàng)堆積出來(lái)，然而，往往還是很難定位到問(wèn)題的具體細(xì)節(jié)。
- 監(jiān)控項(xiàng)設(shè)計(jì)：最小粒度原則
因此，手機(jī)微博設(shè)計(jì)監(jiān)控項(xiàng)首先考慮的是采用最小粒度原則，任何一個(gè)涉及到單機(jī)的監(jiān)控項(xiàng)都會(huì)定位到單機(jī)上。在成千上萬(wàn)臺(tái)機(jī)器中，只要有一臺(tái)機(jī)器出現(xiàn)問(wèn)題，可以迅速定位出現(xiàn)問(wèn)題的那臺(tái)機(jī)器。這臺(tái)機(jī)器在哪一個(gè)IDC，影響到的是什么樣的用戶人群，同樣也能夠快速知道。
但監(jiān)控做的細(xì)經(jīng)常遇到的一個(gè)問(wèn)題就是收到到的報(bào)警太多。某一個(gè)區(qū)域，或者說(shuō)某一個(gè)功能特征的系統(tǒng)出現(xiàn)問(wèn)題時(shí)，經(jīng)常一下子收到幾十條、幾百條的報(bào)警短信。因此在匯總時(shí)會(huì)考慮一些收斂功能的設(shè)計(jì)。
另外在設(shè)計(jì)監(jiān)控項(xiàng)時(shí)，還要考慮到它覆蓋的廣度和深度，因此手機(jī)微博的監(jiān)控系統(tǒng)做了一個(gè)簡(jiǎn)單的分層：操作系統(tǒng)層、Server層(服務(wù)軟件層)、業(yè)務(wù)層。
所有操作系統(tǒng)的日志、業(yè)務(wù)的日志全部都到Rsyslog里面去，會(huì)通過(guò)Rsyslog做轉(zhuǎn)發(fā)，比如轉(zhuǎn)發(fā)到HDFS、Elasticsearch里面去,這基本是目前互聯(lián)網(wǎng)公司通用的做法。值得一提的是，手機(jī)微博的監(jiān)控整體上都是用的Rsyslog，基于日志進(jìn)行實(shí)時(shí)計(jì)算。
- ELK/ERK:定位復(fù)雜問(wèn)題
監(jiān)控系統(tǒng)雖然能幫助我們快速發(fā)現(xiàn)問(wèn)題，但只有監(jiān)控的話，還是沒(méi)有辦法更深入的挖掘到底出在哪兒。通過(guò)監(jiān)控，我們只能得到的是一些計(jì)算出來(lái)的數(shù)值，所以它得到的結(jié)果是很概要的。當(dāng)故障發(fā)生時(shí)，尤其是在一個(gè)復(fù)雜行為里，我們很難快速定位問(wèn)題真正發(fā)生的位置。另外，監(jiān)控項(xiàng)之間的關(guān)聯(lián)關(guān)系也是需要提前挖掘的。比如要將Feed接口所依賴的十幾個(gè)微服務(wù)的接口的定義出來(lái)，就需要花費(fèi)很多的時(shí)間和精力。而且一旦業(yè)務(wù)發(fā)生變化，監(jiān)控體系也要隨之調(diào)整，這是比較麻煩的。
因此，微博采用了ELK和ERK體系，并進(jìn)行了一些優(yōu)化，比如用Rsyslog替換Logstash。記錄下來(lái)的大量日志需要進(jìn)行一定的格式化分析，讓開(kāi)發(fā)工程師和架構(gòu)師更好的對(duì)系統(tǒng)進(jìn)行優(yōu)化。通過(guò)ELK體系，可以做出這樣的餅圖出來(lái)，直觀定位監(jiān)控系統(tǒng)報(bào)警的那些問(wèn)題，查找出來(lái)到底是哪一行代碼性能最差，影響了全局。
整體來(lái)看，手機(jī)微博技術(shù)保障體系的監(jiān)控系統(tǒng)的功能，主要是快速發(fā)現(xiàn)并盡可能快地定位問(wèn)題。通過(guò)ELK和ERK套件，更加精準(zhǔn)的定位問(wèn)題，以及發(fā)現(xiàn)一些更為復(fù)雜的問(wèn)題。ELK和ERK套件的優(yōu)勢(shì)就是日志是實(shí)時(shí)的，現(xiàn)場(chǎng)感很強(qiáng)，并且它支持的日是志類型非常豐富。幾乎在問(wèn)題發(fā)生同時(shí)，我們就可以知道線上系統(tǒng)是哪一個(gè)環(huán)節(jié)都現(xiàn)問(wèn)題，出現(xiàn)了什么問(wèn)題。另外，它還提供了很多關(guān)聯(lián)分析。
但它的劣勢(shì)就是日志的存儲(chǔ)是需要一定成本的，另外效率并不高，歷史的回溯能力也不強(qiáng)。
保障業(yè)務(wù)前進(jìn)的后勤部隊(duì)
當(dāng)然，技術(shù)保障體系不止于監(jiān)控?？偟膩?lái)說(shuō)，技術(shù)保障就是要給業(yè)務(wù)架構(gòu)師和開(kāi)發(fā)工程師這些在前面沖鋒的戰(zhàn)士，提供相應(yīng)的支持和更好的素材，來(lái)保證整體業(yè)務(wù)快速向前。我們的業(yè)務(wù)要往前沖，除了開(kāi)發(fā)工程師，除了架構(gòu)師，設(shè)計(jì)方案、寫(xiě)代碼之后的所有事情，都需要有一個(gè)專門(mén)的技術(shù)保障團(tuán)隊(duì)為大家提供服務(wù)和支撐。技術(shù)保障一方面對(duì)業(yè)務(wù)線提供支持，幫助架構(gòu)設(shè)計(jì)和代碼實(shí)現(xiàn)快速部署，使產(chǎn)品盡快面世。另外還可以通過(guò)一些基礎(chǔ)的監(jiān)控?cái)?shù)據(jù)分析，和一些基礎(chǔ)設(shè)施的開(kāi)發(fā)，償還一些技術(shù)債務(wù)。
講師簡(jiǎn)介
王春生 秒拍架構(gòu)師
秒拍網(wǎng)架構(gòu)師，先后擔(dān)任過(guò)新浪系統(tǒng)架構(gòu)師、研發(fā)技術(shù)保障部總監(jiān)，10余年系統(tǒng)設(shè)計(jì)、技術(shù)架構(gòu)經(jīng)驗(yàn)，尤其擅長(zhǎng)高性能、高并發(fā)、大數(shù)據(jù)業(yè)務(wù)架構(gòu)設(shè)計(jì)。具備豐富的技術(shù)團(tuán)隊(duì)管理經(jīng)驗(yàn)。多個(gè)基于Rsyslog的技術(shù)作品，被Rsyslog官方引進(jìn)使用。個(gè)人譯著《Puppet 3實(shí)戰(zhàn)手冊(cè)》，《NoSQL權(quán)威指南》。
了解更多訓(xùn)練營(yíng)內(nèi)容請(qǐng)登錄 http://x./act/
當(dāng)前名稱：手機(jī)微博運(yùn)維監(jiān)控系統(tǒng)實(shí)戰(zhàn)
鏈接地址：http://www.5511xx.com/article/dhgddie.html
