建站
咨詢
售后
建站咨詢
新聞中心
一、故障及故障管理定義
業(yè)界故障管理均基于ITIL演化而來，根據(jù)實際情況精簡流程以適配互聯(lián)網(wǎng)的精益迭代。
1、ITIL中的定義
故障：①非計劃性的IT服務(wù)中斷，或者IT服務(wù)性能的下降。②配置項的失效，即便沒有影響到服務(wù)。
故障管理：對所有故障進行處理的流程。
故障管理的目標：盡快恢復服務(wù)到正常運行，并且最小化對業(yè)務(wù)運營的不利影響，從而盡可能地保證服務(wù)質(zhì)量和可用性的水平。
2、業(yè)界較完善定義
故障：除用戶方環(huán)境或者用戶自身操作引起的外，其他無論什么原因?qū)е路?wù)中斷、服務(wù)品質(zhì)下降或者用戶服務(wù)體驗下降。
故障管理：圍繞故障生命周期采取的一系列活動和流程，包括故障等級定義、故障發(fā)現(xiàn)、故障響應(yīng)、故障應(yīng)急、故障恢復、故障復盤及持續(xù)改進。
故障管理的目標：預防可預知的問題，快速恢復不能預知的問題，不再重復已發(fā)生的問題。
二、為什么要做故障管理
無論是理論還是實踐，均證明故障只要有發(fā)生的可能，它總會發(fā)生。所以為了保障業(yè)務(wù)穩(wěn)定性，需提前發(fā)現(xiàn)、解決風險，及時發(fā)現(xiàn)、定位原因、快速恢復故障，同時要確保改進措施有效落地、避免故障重復發(fā)生，我們需要建立一個規(guī)范可遵循、閉環(huán)的故障管理體系。
三、故障管理怎么做
故障管理就是圍繞故障全生命周期管理，形成體系閉環(huán)、持續(xù)改進。
無論是理論還是實踐，均證明故障只要有發(fā)生的可能，它總會發(fā)生。所以為了保障業(yè)務(wù)穩(wěn)定性，需提前發(fā)現(xiàn)、解決風險，及時發(fā)現(xiàn)、定位原因、快速恢復故障，同時要確保改進措施有效落地、避免故障重復發(fā)生，我們需要建立一個規(guī)范可遵循、閉環(huán)的故障管理體系。
1、故障等級定義
1.1 故障序列
故障管理部門（例如質(zhì)量部門、NOC、運維管理部門等）可根據(jù)實際情況定義故障序列，以下為目前業(yè)界可參考的序列，一類序列一般分為4級，級別數(shù)字越小嚴重程度越高。
- P（PRIORITY）序列：技術(shù)基礎(chǔ)序列，為故障處理的綜合優(yōu)先級。
- D（DATA）序列：數(shù)據(jù)質(zhì)量序列，綜合數(shù)據(jù)資產(chǎn)等級與數(shù)據(jù)影響因素。
- R（RISK）序列：輿情風險序列。
- S（SLA）序列：衡量影響SLA嚴重程度。
1.2 故障定級
以P序列舉例：
故障定級建議分為通用型和業(yè)務(wù)型兩類，業(yè)務(wù)線型故障定級標準不得低于通用型故障定級標準。
通用型故障等級由故障管理部門定義，可包含受影響用戶數(shù)、受影響商家數(shù)、客訴增量、資金損失等通用指標。通用型故障場景在業(yè)務(wù)線型故障場景未覆蓋情況下兜底。
業(yè)務(wù)型故障等級由故障管理部門聯(lián)合業(yè)務(wù)團隊基于用戶視角共同定義，以下為業(yè)務(wù)型故障定級舉例。公司內(nèi)部工具也可按照此模板定義故障級別以納入故障管理。
2、監(jiān)控告警
核心是業(yè)務(wù)監(jiān)控關(guān)聯(lián)故障等級定義做到故障及時發(fā)現(xiàn)。
告警本身要做到智能告警以提升告警準確率，例如智能閾值、智能基線、根因算法等。
3、故障應(yīng)急
問題升級為故障后，由故障管理部門及時通告故障信息，拉起故障處理群/電話會議，協(xié)調(diào)、跟進、監(jiān)督故障處理直至恢復。
由于故障管理部門需要7X24應(yīng)急響應(yīng)，有條件的公司可以參考google的SRE、阿里的GOC組建團隊，成員分布不同時區(qū)，實現(xiàn)日出而作，日落而息。
4、故障恢復
故障發(fā)生后的第一要務(wù)是恢復業(yè)務(wù)，預案、重啟、降級、隔離、切流、飽和式應(yīng)急等，都是可選的方案。
5、故障復盤
5.1、故障復盤時效
為確保問題、風險能夠得到足夠重視，并及時制定改進措施，建議P1P2級別故障1個工作日內(nèi)完成復盤，P3P4故障3個工作日完成復盤，其他序列故障可參考P序列時效性。
5.2、故障復盤準備工作
為提升復盤會議效率，故障管理人（復盤會議主持人）應(yīng)該在會議之前整理如下信息：
- 故障處理過程：必須包含故障注入、故障發(fā)生、故障發(fā)現(xiàn)、故障響應(yīng)、初因定位、恢復執(zhí)行、故障恢復、根因定位等核心時間點及操作，其他關(guān)鍵時間點及操作視實際情況補充。
- 影響業(yè)務(wù)：具體到下跌時段、下跌比例，資金損失金額。
- 用戶/商家影響情況：理論影響量，來電、在線咨詢量
- 故障根因及對應(yīng)根因分類：設(shè)備故障、代碼問題、流程規(guī)范、應(yīng)急災(zāi)備、容量等。
5.3、故障復盤重要關(guān)注點
- 故障預防：是否變更觸發(fā)
- 故障發(fā)現(xiàn)：發(fā)現(xiàn)時長，發(fā)現(xiàn)來源，監(jiān)控優(yōu)化
- 應(yīng)急響應(yīng)：響應(yīng)時長
- 故障恢復：恢復時長，恢復措施沉淀，改進
- 改進措施：基于以上信息制定可驗的證改進措施，完成時間點，負責人
6、持續(xù)運營
持續(xù)運營是個廣義的概念，除了故障數(shù)據(jù)各種維度晾曬、經(jīng)驗傳承、文化宣導外，最主要的是通過故障數(shù)據(jù)分析，識別故障各個生命階段的薄弱點、風險點，針對薄弱點、風險點有專項改進。
比如多次未灰度直接發(fā)布引起重大故障，變更制度、變更平臺是否可強管控；故障恢復主要依賴代碼發(fā)布導致恢復慢，是否可打造及時恢復文化，針對常見故障場景是否能沉淀快恢預案等。
四、對故障管理工作者的建議
故障管理路長且艱，以下給故障管理同學的建議，希望共勉。
1. 積極主動、認真負責
- 風險、問題跟進不到位，演變成故障的數(shù)量會增多
- 故障跟進不到位，影響面會擴大
- 故障根因不明確，改進措施可能無效
- 改進措施無效，故障還會重復發(fā)生
2. 敢于質(zhì)疑
- 監(jiān)控發(fā)現(xiàn)是否及時
- 故障處理過程是否可優(yōu)化，有沒有人為失誤
- 業(yè)務(wù)影響面統(tǒng)計是否真實
- 故障原因是否是本次故障的根因
- 改進措施制定是否合理
3. 自我提升
故障管理者不是統(tǒng)計、記錄文員，要以架構(gòu)師嚴格要求自己，能夠指出故障各個階段存在的問題，并能夠獨立承擔對應(yīng)優(yōu)化專項。
本文標題：互聯(lián)網(wǎng)故障管理體系建設(shè)，看這一篇就夠了
本文網(wǎng)址：http://www.5511xx.com/article/cdeidid.html
