建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
微軟子公司GitHub近日就上個(gè)月底持續(xù)時(shí)間超過(guò)8個(gè)小時(shí)的一連串故障發(fā)表了完整的事后分析報(bào)告，詳細(xì)說(shuō)明了數(shù)據(jù)庫(kù)基礎(chǔ)架構(gòu)導(dǎo)致GitHub遭遇故障的確切原因，GitHub數(shù)據(jù)庫(kù)出岔子不是第一次了。
創(chuàng)新互聯(lián)服務(wù)項(xiàng)目包括波密網(wǎng)站建設(shè)、波密網(wǎng)站制作、波密網(wǎng)頁(yè)制作以及波密網(wǎng)絡(luò)營(yíng)銷(xiāo)策劃等。多年來(lái)，我們專(zhuān)注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，波密網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶(hù)以成都為中心已經(jīng)輻射到波密省份的部分城市，未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶(hù)的支持與信任！
GitHub工程高級(jí)副總裁Keith Ballinger撰寫(xiě)的這篇報(bào)告稱(chēng)，2月份的故障是“多次服務(wù)中斷，導(dǎo)致在四起獨(dú)立的事件中服務(wù)降級(jí)持續(xù)時(shí)間共長(zhǎng)達(dá)8小時(shí)14分鐘。”
簡(jiǎn)短的解釋就是：“數(shù)據(jù)庫(kù)負(fù)載突然出現(xiàn)變化，加上因日常的規(guī)模擴(kuò)展改進(jìn)而帶來(lái)的意外配置問(wèn)題，共同導(dǎo)致了我們的mysql1數(shù)據(jù)庫(kù)集群出現(xiàn)資源爭(zhēng)奪現(xiàn)象。”雖然這家代碼存儲(chǔ)庫(kù)公司一直在擴(kuò)大數(shù)據(jù)運(yùn)維的規(guī)模，但“我們的大部分核心數(shù)據(jù)集”仍駐留在其原始集群中。
第一次故障發(fā)生在2月19日，當(dāng)時(shí)“一個(gè)意外的資源密集型查詢(xún)開(kāi)始在我們的mysql1數(shù)據(jù)庫(kù)集群上運(yùn)行?！彪m然原計(jì)劃是以低得多的頻次在讀取副本池上運(yùn)行該負(fù)載，但“我們不小心將該流量發(fā)送到了集群的主節(jié)點(diǎn)（master），給該主機(jī)加大了壓力，超出了剩余容量的服務(wù)范圍?！?/p>
這一切使ProxySQL不堪重負(fù)，“ProxySQL負(fù)責(zé)連接池，因而導(dǎo)致無(wú)法一致地執(zhí)行查詢(xún)?！?/p>
兩天后，“計(jì)劃中的主數(shù)據(jù)庫(kù)升級(jí)再次引發(fā)了ProxySQL故障。”
2月25日的第三次事件再次涉及ProxySQL，當(dāng)時(shí)“活動(dòng)數(shù)據(jù)庫(kù)連接超過(guò)了臨界值，從而改變了這個(gè)新基礎(chǔ)架構(gòu)的行為。由于連接在修復(fù)后仍保持在臨界值之上，因此系統(tǒng)回退到了降級(jí)狀態(tài)?！?/p>
然后在2月27日，GitHub遭到了重大故障，停運(yùn)了整整4小時(shí)23分鐘。這是由于“應(yīng)用程序邏輯對(duì)數(shù)據(jù)庫(kù)查詢(xún)模式的更改迅速加大了我們mysql1數(shù)據(jù)庫(kù)集群的主節(jié)點(diǎn)所面臨的負(fù)載。負(fù)載猛增的這種情況使集群性能大幅下降，以至于影響了所有相關(guān)服務(wù)的可用性?！?/p>
Ballinger聲稱(chēng)，GitHub進(jìn)行了更改，以便更迅速地檢測(cè)和解決問(wèn)題。“一旦我們查明了系統(tǒng)之間的相互關(guān)系，解決這些問(wèn)題就很簡(jiǎn)單?！盙itHub還抽出“更多的精力”，在不影響用戶(hù)的情況下，了解大規(guī)模運(yùn)行的ProxySQL的性能特征及其對(duì)其他服務(wù)造成的影響。
Ballinger補(bǔ)充說(shuō)：“就在這些事件發(fā)生幾天后，我們?yōu)槠渲幸粋€(gè)比較重要的MySQL表域（“abilities”表）完成了工作量相當(dāng)大的數(shù)據(jù)分區(qū)任務(wù)。這些更改將mysql1集群主節(jié)點(diǎn)上的負(fù)載減少了20%，將每秒查詢(xún)次數(shù)減少了15%?！?/p>
該公司還致力于減少主數(shù)據(jù)庫(kù)的讀取操作，并將它們轉(zhuǎn)移至副本數(shù)據(jù)庫(kù)，并完成“mysql1集群的在途（in-flight）功能分區(qū)，并確定要分區(qū)的其他域。它還在完善儀表板，并對(duì)最大的模式集進(jìn)行分片（sharding）?！?/p>
如果GitHub沒(méi)有在更好地報(bào)告故障或引入混亂工程技術(shù)方面做得更到位讓你覺(jué)得很奇怪，那是由于它早在2018年的時(shí)候就已經(jīng)保證會(huì)做那些事情。2018年，在短暫的連接中斷導(dǎo)致其數(shù)據(jù)庫(kù)集群在美國(guó)東西岸地區(qū)不同步后，GitHub遭遇了長(zhǎng)達(dá)24小時(shí)的故障。
而且遭遇故障的并非只有GitHub。運(yùn)行云平臺(tái)很……難。母公司微軟本周發(fā)現(xiàn)其Azure平臺(tái)出了問(wèn)題，而就在撰寫(xiě)本文時(shí)，谷歌在谷歌云平臺(tái)（GCP）服務(wù)大范圍出問(wèn)題后正發(fā)布修復(fù)程序。
網(wǎng)頁(yè)題目：Github 8 小時(shí)一連串故障的元兇是：數(shù)據(jù)庫(kù)基礎(chǔ)架構(gòu)
文章源于：http://www.5511xx.com/article/dhjpsce.html
