建站
咨詢
售后
建站咨詢
新聞中心
spark streaming集群如何做容災(zāi)處理？
spark streaming集群做容災(zāi)處理spark streaming有兩種容錯機制：spark自帶的checkpoint，使用Kafka direct自行維護(hù)offset。
創(chuàng)新互聯(lián)公司作為成都網(wǎng)站建設(shè)公司，專注成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計，有關(guān)企業(yè)網(wǎng)站設(shè)計方案、改版、費用等問題，行業(yè)涉及成都鑿毛機等多個領(lǐng)域，已為上千家企業(yè)服務(wù)，得到了客戶的尊重與認(rèn)可。
第一種方法中，checkpoint是spark streaming自帶的一種檢查點機制，可以通過一些特殊配置把輸入數(shù)據(jù)和計算過程中的數(shù)據(jù)存儲在可靠的文件系統(tǒng)中（比如hdfs或s3）。
它可以保存計算過程中的狀態(tài)，在發(fā)生失敗時可以控制回溯到什么程度，而不用重新進(jìn)行計算。驅(qū)動器容錯，在驅(qū)動器崩潰重啟后，控制從什么位置繼續(xù)讀取數(shù)據(jù)。
checkpoint有三種應(yīng)用方法元數(shù)據(jù)信息，主要包括：streaming應(yīng)用程序的配置計算過程中一系列Dstream操作沒有完成的批處理，在運行隊列中的批處理但是沒有完成；消費數(shù)據(jù)的偏移量；編譯后的執(zhí)行程序（jar文件）序列化后的二進(jìn)制文件。
第二種方法基于接收者的方式，采用push方式，由kafka的topic將數(shù)據(jù)推向spark，使用API： 使用的是kafka高級消費者API
效果： kafka將數(shù)據(jù)推到spark執(zhí)行節(jié)點中并儲存起來，然后由Spark Streaming啟動作業(yè)來處理這些程序。
效果上，這種方式不是使用接收器接收，而是saprk每次拉取數(shù)據(jù)先去kafka中獲取上一次拉取的偏移量。根據(jù)偏移量獲取數(shù)據(jù)后，再進(jìn)行處理。
筆者推薦第二種處理方法，自行維護(hù)offset要比spark自帶的checkpoint更好一些，更加靈活、安全，容災(zāi)處理的能力也會更強。
MYsql異地容災(zāi)有哪些方式？
一般是做異地備份和異地容災(zāi)。目前也有更好的選擇，比如說用“多備份”這款工具來實現(xiàn)異地多云備份容災(zāi)，把MySQL數(shù)據(jù)庫加密分布式存儲備份到百度云、阿里云、亞馬遜云、金山云、騰訊云、七牛、ucloud等，保證數(shù)據(jù)不丟失
異地容災(zāi)備份方案？
使用存儲虛擬化網(wǎng)關(guān)技術(shù)，統(tǒng)一管理各品牌型號的存儲設(shè)備。存儲虛擬化網(wǎng)關(guān)將業(yè)務(wù)數(shù)據(jù)同步寫入多臺存儲設(shè)備，使得業(yè)務(wù)數(shù)據(jù)在多臺存儲設(shè)備間實現(xiàn)實時同步。
當(dāng)有存儲故障脫機時，存儲虛擬化網(wǎng)關(guān)在業(yè)務(wù)無感知的情況下切換到數(shù)據(jù)副本存儲以繼續(xù)提供服務(wù)。
數(shù)據(jù)本地備份，在本地數(shù)據(jù)中心部署備份軟件平臺，備份物理機和虛擬機數(shù)據(jù)，提供數(shù)據(jù)回滾功能。
當(dāng)物理機損壞時，可以在備份平臺上直接運行虛擬機，等物理機重新上線后，可選擇將整機數(shù)據(jù)重新同步推回到物理機。
數(shù)據(jù)異地容災(zāi)，通過備份平臺提供的數(shù)據(jù)復(fù)制功能，使用專用的網(wǎng)絡(luò)通道，后臺自動將備份完成的數(shù)據(jù)復(fù)制到異地數(shù)據(jù)中心的備份平臺內(nèi)，可通過備份操作平臺，將業(yè)務(wù)系統(tǒng)切換到異地數(shù)據(jù)中心。
容災(zāi)是什么意思？
意思就是在自然災(zāi)害、設(shè)備故障、人為操作破壞等的災(zāi)難發(fā)生時，在保證生產(chǎn)系統(tǒng)的數(shù)據(jù)盡量少丟失的情況下，保持生存系統(tǒng)的業(yè)務(wù)不間斷地運行。
容災(zāi)系統(tǒng)是指在相隔較遠(yuǎn)的異地，建立兩套或多套功能相同的IT系統(tǒng)，互相之間可以進(jìn)行健康狀態(tài)監(jiān)視和功能切換，當(dāng)一處系統(tǒng)因意外（如火災(zāi)、地震等）停止工作時，整個應(yīng)用系統(tǒng)可以切換到另一處，使得該系統(tǒng)功能可以繼續(xù)正常工作。容災(zāi)技術(shù)是系統(tǒng)的高可用性技術(shù)的一個組成部分，容災(zāi)系統(tǒng)更加強調(diào)處理外界環(huán)境對系統(tǒng)的影響，特別是災(zāi)難性事件對整個IT節(jié)點的影響，提供節(jié)點級別的系統(tǒng)恢復(fù)功能。
到此，以上就是小編對于如何實現(xiàn)海外云服務(wù)器的災(zāi)備和容災(zāi)功能的問題就介紹到這了，希望這4點解答對大家有用。
文章名稱：如何實現(xiàn)海外云服務(wù)器的災(zāi)備和容災(zāi)？
文章來源：http://www.5511xx.com/article/djhjdjo.html
