建站
咨詢
售后
建站咨詢
新聞中心
一、自動化運(yùn)維監(jiān)控工具誕生
創(chuàng)新互聯(lián)公司專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都網(wǎng)站制作、網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、陽西網(wǎng)絡(luò)推廣、小程序定制開發(fā)、陽西網(wǎng)絡(luò)營銷、陽西企業(yè)策劃、陽西品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎；創(chuàng)新互聯(lián)公司為所有大學(xué)生創(chuàng)業(yè)者提供陽西建站搭建服務(wù)，24小時服務(wù)熱線：028-86922220，官方網(wǎng)址：www.cdcxhl.com
初期階段IT基礎(chǔ)設(shè)施通常處在小規(guī)模狀態(tài)。幾臺至幾十臺機(jī)器的規(guī)模，足以滿足業(yè)務(wù)需求。很多公司都不一定配有專門的運(yùn)維人員或者部門，業(yè)務(wù)開發(fā)人員完成自己業(yè)務(wù)工作的同時，也一并完成所負(fù)責(zé)管理相關(guān)業(yè)務(wù)的設(shè)備。隨著云時代到來了，IT基礎(chǔ)設(shè)施迅速發(fā)展成幾百上千服務(wù)器。更多的業(yè)務(wù)系統(tǒng)上線，業(yè)務(wù)人員也無暇再顧及運(yùn)維工作。此時，運(yùn)維人員開始專業(yè)化，獨(dú)立成部門。各類孤島式的運(yùn)維管理工具上線，提升運(yùn)維效率。
可是在各類運(yùn)維工具上線之后，大家發(fā)現(xiàn)運(yùn)維人員仍然時常要充當(dāng)“救火隊員”，收警告、修機(jī)器，哪里宕機(jī)去哪里。雖然有了運(yùn)維管理工具自動化收集監(jiān)控數(shù)據(jù)之后，但還是有很多問題，讓底層物理資源運(yùn)維工作無法實(shí)現(xiàn)完全自動化。
二、逃不開的人工巡檢
目前，多數(shù)客戶所選擇的運(yùn)維監(jiān)控方式都是在操作系統(tǒng)上安裝Agent訪問設(shè)備驅(qū)動，讀取硬件狀態(tài)數(shù)據(jù)。所有監(jiān)控狀態(tài)的數(shù)據(jù)抓取都受限于驅(qū)動程序。而驅(qū)動程序的編寫人員所關(guān)注的重點(diǎn)在于設(shè)備的正常運(yùn)行，而不在于設(shè)備的狀態(tài)監(jiān)控。因此，通過驅(qū)動程序所抓取的硬件狀態(tài)參數(shù)始終有限。這也就能解釋，為什么很多客戶在上線了運(yùn)維監(jiān)控軟件之后，還是需要人工巡檢。我們來看幾個大家經(jīng)常遇到的問題：
- 事例1：某客戶數(shù)據(jù)庫系統(tǒng)上線，3塊900G 硬盤做raid5。當(dāng)出現(xiàn)一塊壞盤之后，監(jiān)控軟件看不到有壞盤，因?yàn)橄到y(tǒng)還在正常運(yùn)行。人工巡檢之后，發(fā)現(xiàn)設(shè)備上有硬盤告警燈。監(jiān)控軟件下又無法查看到系統(tǒng)是JBOD還是做了raid。巡檢中，數(shù)據(jù)庫服務(wù)器出現(xiàn)硬盤告警，監(jiān)控軟件在這種時候卻幫不上忙。如果不是人工巡檢，甚至可能都沒有發(fā)現(xiàn)這個嚴(yán)重告警。
- 事例2：某客戶的核心業(yè)務(wù)服務(wù)器配置雙電源，卻在一次電源故障中出現(xiàn)了服務(wù)器掉電問題。嚴(yán)重事故之后，追查責(zé)任，才發(fā)現(xiàn)原來雙電源中的備用電源一直處于離線狀態(tài)。系統(tǒng)下的agent無法監(jiān)控到冗余電源離線，因?yàn)橐恢庇幸粋€電源在線，供電沒有出現(xiàn)任何問題，因而沒有告警信息出現(xiàn)。最終客戶發(fā)現(xiàn)，監(jiān)控系統(tǒng)上線了，還是得巡檢。
- 事例3：某客戶想要擴(kuò)容舊系統(tǒng)上內(nèi)存容量，監(jiān)控軟件顯示內(nèi)存容量為256G。還有多少內(nèi)存槽位呢?機(jī)器上是16G*16，還是32G*8呢?監(jiān)控軟件獲取不到!很崩潰，只能去機(jī)房拆機(jī)器驗(yàn)內(nèi)存T_T
- ……
日常工作量大，加班是常態(tài)。還要經(jīng)常面臨設(shè)備問題而帶來了業(yè)務(wù)中斷風(fēng)險。監(jiān)控系統(tǒng)上線了，一切都沒有開始好轉(zhuǎn)。
三、帶外解帶內(nèi)之困，遠(yuǎn)離人工巡檢
從專業(yè)的角度來看，網(wǎng)絡(luò)管理可分為帶外管理(out-of-band)和帶內(nèi)管理(in-band)兩種管理模式。上述在系統(tǒng)下，也就是客戶的生產(chǎn)環(huán)境下抓取數(shù)據(jù)，通過生產(chǎn)網(wǎng)絡(luò)讀取監(jiān)控數(shù)據(jù)屬于帶內(nèi)管理。這種管理方式，最大的問題就在于當(dāng)系統(tǒng)出現(xiàn)故障時，機(jī)器就無法管理。而且如上所述，獲取的監(jiān)控數(shù)據(jù)有限。而幾乎所有的it設(shè)備廠商都為客戶提供帶外管理口，也就是與生產(chǎn)系統(tǒng)相隔離的管理口。管理口下，設(shè)備廠商本身就提供了詳細(xì)的硬件參數(shù)。這些硬件參數(shù)直接來自于服務(wù)器上百多個sensor，直接從硬件層面獲取的狀態(tài)參數(shù)。數(shù)據(jù)更為細(xì)節(jié)、全面和直觀。
帶外監(jiān)控通過sensor監(jiān)視服務(wù)器狀態(tài)，就像在設(shè)備上安裝了上百個攝像頭一樣，時刻巡視設(shè)備運(yùn)行狀態(tài)。冗余電源離線、機(jī)器上任一條內(nèi)存容量、內(nèi)存頻率、內(nèi)存槽位信息、HBA卡槽位信息等等，這些帶內(nèi)軟件無法捕捉的信息，都可以通過帶外監(jiān)控獲取。這就等同于人工巡視，拆機(jī)驗(yàn)選件。并且，輪訓(xùn)所有機(jī)器的時間周期要遠(yuǎn)遠(yuǎn)大于人工巡視的時間周期。帶外監(jiān)控的輪訓(xùn)周期可以達(dá)到秒級，而人工巡檢的工作量大，以日為周期已經(jīng)是相當(dāng)大的巡檢密度了。通過帶內(nèi)監(jiān)控來彌補(bǔ)帶外監(jiān)控的部分空缺，可以極大的提升運(yùn)維效率，真正意義上實(shí)現(xiàn)無需人工巡檢。
四、揚(yáng)帶外之長，建數(shù)據(jù)中心操作系統(tǒng)
帶外管理最大的好處就在于與生產(chǎn)系統(tǒng)相隔離，直接實(shí)現(xiàn)與機(jī)器對話。這樣效率更高，同時可以有效減少對生產(chǎn)系統(tǒng)的影響?，F(xiàn)在的數(shù)據(jù)中心，通常對所有設(shè)備都已經(jīng)建立了比較完善的帶外管理網(wǎng)絡(luò)。這一日益完善的架構(gòu)，不僅僅可以用來做帶外管理，還可以利用其優(yōu)勢構(gòu)建一個完整的底層DCOS(Data Center Operating System)。揚(yáng)帶外之長，實(shí)施建造一套完整的底層運(yùn)維架構(gòu)。
什么是DCOS?
DCOS是為數(shù)據(jù)中心所有設(shè)備全生命周期服務(wù)的一套管理平臺。簡單的說，是為數(shù)據(jù)中心的設(shè)備進(jìn)行全生命周期的管理，從采購到安裝使用，再到維修、報廢的整個過程服務(wù)。
通過DCOS的全生命周期自動化平臺管理，實(shí)現(xiàn)部署、監(jiān)控、分析、管理全自動，數(shù)據(jù)中心的無人值守。盡可能的保證服務(wù)過程的標(biāo)準(zhǔn)化，減少其中的人為管理。
我們梳理一下DCOS需要完成哪些部分的自動化運(yùn)維工作。
1. 部署
當(dāng)設(shè)備進(jìn)入數(shù)據(jù)中心，首先通過DCOS進(jìn)行業(yè)務(wù)流程審批，包含上架申請等過程。然后，DCOS對資產(chǎn)進(jìn)行自動化的驗(yàn)收，主要檢驗(yàn)配置是否符合規(guī)范，對各個選件(CPU/內(nèi)存/硬盤等)做自動化的壓力測試。可以實(shí)現(xiàn)選件級別的資產(chǎn)驗(yàn)證，所有信息都為自動更新采集。如內(nèi)存信息，可以自動收集所有內(nèi)存的插槽信息、容量、頻率等。
設(shè)備驗(yàn)收可以實(shí)現(xiàn)選件級設(shè)備驗(yàn)收：如內(nèi)存，可以驗(yàn)收內(nèi)存總?cè)萘?，同時可以驗(yàn)證型號、容量和數(shù)量信息。當(dāng)設(shè)備通過驗(yàn)收之后，可以通過帶外網(wǎng)絡(luò)自動化發(fā)現(xiàn)設(shè)備，可以自動化獲取設(shè)備上帶有的資產(chǎn)信息，并將設(shè)備自動化列入資產(chǎn)管理。
然后從模板庫當(dāng)中，選擇對應(yīng)的自動化安裝模板進(jìn)行全自動化的安裝，包括自動化的陣列卡配置、OS配置，配置標(biāo)準(zhǔn)化的基礎(chǔ)設(shè)施給上層資源運(yùn)維使用。
完成整個過程后，在設(shè)備狀態(tài)列表中將設(shè)備狀態(tài)更新為已上線的可用狀態(tài)。
整個過程只有上架申請和模板庫選擇模板操作需要人為干預(yù)，其它過程均為標(biāo)準(zhǔn)化的自動化流程，可以大大提高部署效率，并減少人為操作帶來的上線質(zhì)量不合格問題。
2. 監(jiān)控/分析
監(jiān)控分析是DCOS最核心的功能。為了更好的與上層資源運(yùn)維做隔離，DCOS采用帶外管理的方式盡量與上層業(yè)務(wù)做隔離。這種方式，可以在設(shè)備無論上層系統(tǒng)是否正常運(yùn)行的情況下，都可以對設(shè)備進(jìn)行監(jiān)控分析。且?guī)獾墓芾矸绞?，可以保障帶外的管理工作可以不影響正常的業(yè)務(wù)運(yùn)行效率，同時也在一定程度上保證了業(yè)務(wù)數(shù)據(jù)的安全性。
DCOS主要可以從資源、機(jī)房、業(yè)務(wù)、設(shè)備等多種不同的視圖監(jiān)控數(shù)據(jù)中心的各種資源。不同視圖下，可以隨時查看設(shè)備的健康狀態(tài)、性能狀態(tài)，可以用列表以及多種圖標(biāo)形式更加自動化的直觀展現(xiàn)。對于設(shè)備異常狀態(tài)可以實(shí)現(xiàn)多途徑的告警，包括郵件、短信、微信等形式。DCOS實(shí)行多級告警制度，根據(jù)告警的嚴(yán)重性分成不同等級。對于部分嚴(yán)重警告，可以設(shè)置告警升級規(guī)則，將告警自動化上報高層，實(shí)現(xiàn)問題的自動化升級。為了避免出現(xiàn)單一故障(如交換機(jī)故障)導(dǎo)致的與交換機(jī)連接的服務(wù)器同時報警所產(chǎn)生的告警風(fēng)暴，DCOS可以實(shí)現(xiàn)對告警進(jìn)行自動化的收斂，減少批量告警所帶來的不必要的恐慌。通過這種方式，實(shí)現(xiàn)百分之百的硬件狀態(tài)查看。
DCOS提供所有服務(wù)器遠(yuǎn)程虛擬KVM功能，不占用系統(tǒng)資源和網(wǎng)絡(luò)資源、不需要安裝代理程序(Agent)。同時，可以節(jié)省大量購買物理KVM費(fèi)用等設(shè)備的采購費(fèi)用。
DCOS通過帶外方式自動化獲取各個設(shè)備的主要性能參數(shù)，以圖形化界面展示，或者生成報表，實(shí)現(xiàn)設(shè)備資產(chǎn)的大數(shù)據(jù)化，幫助分析設(shè)備資產(chǎn)資源利用率，更加合理利用、擴(kuò)充的配備設(shè)備資產(chǎn)。
通過DCOS的監(jiān)控、分析功能，可以有效的替代對于小型機(jī)、X86服務(wù)器、存儲設(shè)備、備份帶庫、光纖交換機(jī)等設(shè)備的人工機(jī)房巡檢。這種方式大大節(jié)省了人工巡檢所需的人力，也提高了巡檢的效率。整個監(jiān)控、分析都有DCOS后臺自動化執(zhí)行，只需要人為干預(yù)去處理部分設(shè)備故障。調(diào)查顯示，多數(shù)運(yùn)維事故都是因?yàn)槿藶檎`操作而導(dǎo)致。相信大家還記得前不久發(fā)生的Gitlab運(yùn)維人員誤刪庫，導(dǎo)致Gitlab網(wǎng)站丟失了6小時數(shù)據(jù)。因此人為干預(yù)操作的減少，可以避免更多的運(yùn)維事故。
3. 管理
管理部分包括對于數(shù)據(jù)中心資產(chǎn)(服務(wù)器、存儲、網(wǎng)絡(luò)、UPS、精密空調(diào)等)的資產(chǎn)信息進(jìn)行管理，其中包含對設(shè)備位置的追蹤。以及設(shè)備維保情況、工作狀態(tài)等實(shí)時狀態(tài)的自動化更新提醒。幫助形成it資產(chǎn)的全局化統(tǒng)一視圖。
除了自動化生成設(shè)備數(shù)據(jù)列表，還能通過過濾信息，自動化靈活生成資產(chǎn)報表。同時，可以根據(jù)數(shù)據(jù)中心設(shè)備之間的互聯(lián)狀態(tài)，生成設(shè)備的邏輯視圖，以及數(shù)據(jù)中心機(jī)架的位置視圖。除了資產(chǎn)管理之外，還需要進(jìn)行知識庫管理，形成運(yùn)維人員之間，以及運(yùn)維人員和維保商/廠商之間更快的自動化溝通渠道，讓維保商可以更快的將設(shè)備固件更新等信息自動化推送給用戶，減少原有的繁瑣溝通渠道。
DCOS的知識庫也可以幫助運(yùn)維人員之間實(shí)現(xiàn)一個長期的技術(shù)知識累計，可以實(shí)現(xiàn)技術(shù)文檔的快速自動化檢索，讓平臺不僅僅是一個自動化的管理平臺，還是一個很好的技術(shù)積累平臺。
部署、監(jiān)控分析和管理三大自動化功能板塊看似互相獨(dú)立，實(shí)際上實(shí)現(xiàn)了數(shù)據(jù)的互聯(lián)互通，為彼此的業(yè)務(wù)提供數(shù)據(jù)支撐，形成統(tǒng)一的自動化管理視圖。
五、未來：“簡生態(tài)”運(yùn)維系統(tǒng)
數(shù)據(jù)中心運(yùn)維包含很多的內(nèi)容，從底層往上，包含物理資源、虛擬資源、系統(tǒng)、應(yīng)用、業(yè)務(wù)的運(yùn)維。復(fù)雜度往上逐層遞增。而重要性卻是以底層運(yùn)維為基礎(chǔ)。
眾所周知，運(yùn)維部門的多數(shù)的運(yùn)維工作80%集中在底層物理資源、系統(tǒng)資源運(yùn)維。這正符合二八定律，我們在花80%的時間做20%的工作內(nèi)容。如果是這樣，我們需要將運(yùn)維工作做剝離。將這20%的工作從整個運(yùn)維體系剝離開來，通過帶外網(wǎng)絡(luò)架構(gòu)來進(jìn)行統(tǒng)一管理，建立一個底層運(yùn)維的“簡生態(tài)”。用更直觀、更標(biāo)準(zhǔn)化的視圖來簡化這一部分的管理，提升基礎(chǔ)工作的管理效率，實(shí)實(shí)在在的提升日常運(yùn)維管理工作的質(zhì)量。這就好像物理設(shè)備是水杯，而設(shè)備上承載的萬千業(yè)務(wù)是水杯里的可樂或者檸檬茶，無論水杯里裝的是什么，帶外管理的任務(wù)只負(fù)責(zé)保障水杯的完整，不會有水杯里的內(nèi)容流失。最最重要的任務(wù)，用最簡化的方式來保駕護(hù)航，反而能贏得最佳的效果。
未來的理想是通過帶外來彌補(bǔ)帶內(nèi)設(shè)備管理的空缺，真正意義上實(shí)現(xiàn)最佳的物理設(shè)備管理，24小時不間斷保障物理設(shè)備的正常運(yùn)行?？梢渣c(diǎn)擊鼠標(biāo)，就能完成成千上萬服務(wù)器的運(yùn)營管理，讓生活不再是眼前的茍且，還有詩和遠(yuǎn)方。
【本文是專欄作者“王津銀”的原創(chuàng)稿件，轉(zhuǎn)載請注明出處】
網(wǎng)頁名稱：自動化運(yùn)維之后，你還在人工巡檢嗎？
URL分享：http://www.5511xx.com/article/cdcpjcs.html
