建站
咨詢(xún)
售后
建站咨詢(xún)
新聞中心
本文是WOT2016互聯(lián)網(wǎng)運(yùn)維與開(kāi)發(fā)者大會(huì)的現(xiàn)場(chǎng)干貨， 新一屆主題為WOT2016企業(yè)安全技術(shù)峰會(huì)將在2016年6月24日-25日于北京珠三角JW萬(wàn)豪酒店隆重召開(kāi)！
網(wǎng)站建設(shè)哪家好，找創(chuàng)新互聯(lián)！專(zhuān)注于網(wǎng)頁(yè)設(shè)計(jì)、網(wǎng)站建設(shè)、微信開(kāi)發(fā)、小程序設(shè)計(jì)、集團(tuán)企業(yè)網(wǎng)站建設(shè)等服務(wù)項(xiàng)目。為回饋新老客戶(hù)創(chuàng)新互聯(lián)還提供了蠡縣免費(fèi)建站歡迎大家使用！
崔燦的演講主要圍繞為什么是對(duì)象存儲(chǔ)系統(tǒng)、百度開(kāi)放云做了什么事、百度開(kāi)放云云服務(wù)化的工作及挑戰(zhàn)以及云服務(wù)的未來(lái)等內(nèi)容展開(kāi)。
什么是對(duì)象存儲(chǔ)系統(tǒng)
什么是對(duì)象？對(duì)象是現(xiàn)實(shí)中實(shí)際存在的實(shí)體，有名字、數(shù)據(jù)和屬性。一般來(lái)說(shuō)，一個(gè)對(duì)象生成之后就會(huì)永遠(yuǎn)存在，不再作修改。在實(shí)際的系統(tǒng)中，一個(gè)MP3，一個(gè)視頻文件，一個(gè)日志文件一般都可以認(rèn)為是對(duì)象，而對(duì)象存儲(chǔ)系統(tǒng)的重要使用場(chǎng)景也是在這類(lèi)數(shù)據(jù)的存儲(chǔ)和訪(fǎng)問(wèn)，比如說(shuō)在線(xiàn)音樂(lè)視頻播放，日志存儲(chǔ)和處理等。
什么是存儲(chǔ)系統(tǒng)？存儲(chǔ)系統(tǒng)有可靠性、可用性、性能和價(jià)格四方面要求。這里崔燦主要介紹了存儲(chǔ)系統(tǒng)可靠性，一般存儲(chǔ)系統(tǒng)可靠性就是指數(shù)據(jù)不丟失。數(shù)據(jù)丟失產(chǎn)生的情況無(wú)非是磁盤(pán)壞掉、整個(gè)機(jī)器掛掉或整個(gè)機(jī)房直接掛掉等硬件故障。系統(tǒng)可靠性的決定因素有故障的容忍度和修復(fù)時(shí)間兩方面，對(duì)故障容忍度可以通過(guò)做一些冗余的方式來(lái)實(shí)現(xiàn)。修復(fù)時(shí)間各個(gè)系統(tǒng)實(shí)現(xiàn)不一樣。針對(duì)硬件故障，崔燦表示這么多年來(lái)，像交換機(jī)故障，磁盤(pán)故障，已經(jīng)趨于穩(wěn)定沒(méi)有太大進(jìn)步的空間，是相對(duì)比較固定值。所以做系統(tǒng)就是怎么樣提高它對(duì)故障的容忍度和減少修復(fù)時(shí)間。
如何減少修復(fù)時(shí)間？一，和最開(kāi)始這個(gè)數(shù)據(jù)放置是相關(guān)的，如磁盤(pán)故障或者是機(jī)器故障，如是兩塊磁盤(pán)互為備份，那修復(fù)時(shí)間取決于磁盤(pán)IO，就是一個(gè)磁盤(pán)量的數(shù)據(jù)全部拷到另一個(gè)磁盤(pán)，取決于單盤(pán)IO。如把它作一個(gè)分散放到所有的節(jié)點(diǎn)上去，好處在于恢復(fù)時(shí)可以從多個(gè)源到多個(gè)目的的磁盤(pán)上拷貝，這可以大大的減少修復(fù)的時(shí)間，相當(dāng)于整個(gè)集群同時(shí)在拷貝一個(gè)磁盤(pán)上的數(shù)據(jù)。二，基于百度內(nèi)部多年經(jīng)驗(yàn)，磁盤(pán)出現(xiàn)故障時(shí)間可根據(jù)大數(shù)據(jù)分析提前預(yù)測(cè)到，這也大大縮短了修復(fù)時(shí)間。
百度開(kāi)放云做了什么事
把KV存儲(chǔ)開(kāi)放出去
百度內(nèi)部的KV存儲(chǔ)系統(tǒng)，采用3副本，能容忍單機(jī)故障，而且通過(guò)分布式修復(fù)以及磁盤(pán)故障預(yù)測(cè)，能大幅減少修復(fù)時(shí)間。百度開(kāi)放云存儲(chǔ)把KV存儲(chǔ)開(kāi)放出去，做一個(gè)對(duì)象存儲(chǔ)，這過(guò)程叫做商業(yè)化。崔燦表示，這個(gè)過(guò)程中遇到了兩大挑戰(zhàn)：從用戶(hù)角度來(lái)看，一是用戶(hù)量增加，導(dǎo)致對(duì)用戶(hù)的幫助會(huì)降低，另外一方面直接面對(duì)大眾，可能會(huì)遭到惡意攻擊。從業(yè)務(wù)上來(lái)看，一方面是網(wǎng)絡(luò)環(huán)境發(fā)生變化，從內(nèi)網(wǎng)到公網(wǎng)。另外一方面對(duì)外部業(yè)務(wù)的增長(zhǎng)并不可預(yù)期。
安全性、易用性和性能三角度應(yīng)對(duì)挑戰(zhàn)
安全性。百度開(kāi)放云存儲(chǔ)把KV存儲(chǔ)開(kāi)放出去后，從數(shù)據(jù)和服務(wù)安全兩個(gè)角度做了改進(jìn)。數(shù)據(jù)安全有三個(gè)層次，數(shù)據(jù)不丟(基于可靠存儲(chǔ)，多region, 多az來(lái)實(shí)現(xiàn))，數(shù)據(jù)不被非法訪(fǎng)問(wèn)(基于ak, sk的用戶(hù)認(rèn)證以及基于policy的權(quán)限認(rèn)證)，高級(jí)安全特性(Https，服務(wù)端加密等)。服務(wù)安全包括三個(gè)方面，用戶(hù)間互相影響(通過(guò)頻度 & quota服務(wù))，惡意攻擊(通過(guò)百度私有防攻擊系統(tǒng)以及運(yùn)營(yíng)商黑洞清洗來(lái)解決)，機(jī)房地域故障(多region, 多az來(lái)解決)。
易用性。通過(guò)對(duì)用戶(hù)上云(網(wǎng)絡(luò)、硬盤(pán)導(dǎo)入)，用戶(hù)使用（API、SDK、工具、ts支持、多種解決方案）及運(yùn)維（按需使用、自動(dòng)擴(kuò)縮容、報(bào)表、日志、審計(jì)、監(jiān)控……）三個(gè)方面來(lái)提升用戶(hù)的使用體驗(yàn)。
性能。主要對(duì)Http的性能作優(yōu)化，通過(guò)多并發(fā)的上傳下載，流量調(diào)度，CDN集成等多個(gè)方面來(lái)提升Http性能。
提供冷存儲(chǔ)、媒體云和數(shù)據(jù)分析三大解決方案
崔燦表示，百度云存儲(chǔ)從2015年四五月份一直到現(xiàn)在提供不同的解決方案，幫助不同的用戶(hù)來(lái)使用。第一個(gè)階段是內(nèi)部服務(wù)，第二個(gè)階段是一個(gè)可靠存儲(chǔ)，第三個(gè)階段整合百度內(nèi)部資源，如圖象處理、機(jī)器學(xué)習(xí)、視頻處理等東西，整合一些解決方案給用戶(hù)使用。
冷存儲(chǔ)。為把低成本存儲(chǔ)同時(shí)提供給內(nèi)部業(yè)務(wù)和外部開(kāi)發(fā)者，百度云存儲(chǔ)做了冷備的解決方案。提供一個(gè)基本可用的，成本比之前低一倍，但可靠性不會(huì)低于之前可靠性的存儲(chǔ)系統(tǒng)，就是和友商同等價(jià)格的情況下提供基本的在線(xiàn)服務(wù)。
媒體云。關(guān)于圖片和媒體處理，做視頻直播、點(diǎn)播、轉(zhuǎn)播可直接使用。因?yàn)榘俣葍?nèi)部有成熟的方案，如做像手機(jī)屏幕的匹配、適配直接包裝，用戶(hù)只需要把數(shù)據(jù)存儲(chǔ)過(guò)來(lái)，再調(diào)到其他地方就可直接播放，來(lái)減少對(duì)媒體用戶(hù)使用的門(mén)檻。
數(shù)據(jù)分析。崔燦表示，百度是做搜索的，很多策略方面如機(jī)器學(xué)習(xí)，Mapreduce等都是非常成熟。所以可以針對(duì)用戶(hù)把百度內(nèi)部的機(jī)器學(xué)習(xí)，計(jì)算功能給整合進(jìn)來(lái)。如用戶(hù)做數(shù)據(jù)處理或策略方面的事，只需要把數(shù)據(jù)上傳上來(lái)直接做數(shù)據(jù)處理。
百度開(kāi)放云未來(lái)要做的事
崔燦表示，未來(lái)解決方案和存儲(chǔ)相關(guān)有四方面：一，繼續(xù)做冷備或一些歸檔等事。 二，做百度CDN資源結(jié)合，形成類(lèi)似于存儲(chǔ)分發(fā)，供給一些APP下載或者視頻播放的服務(wù)使用。三，百度內(nèi)部有相對(duì)多年媒體方面的資源積累，之后也會(huì)不斷的把百度內(nèi)部的技術(shù)包裝陸續(xù)公開(kāi)出來(lái)。四，對(duì)于機(jī)器學(xué)習(xí)方面，會(huì)繼續(xù)不斷的把百度內(nèi)部的資源爆發(fā)出來(lái)。
【演講視頻】
http://edu./lesson/id-100746.html
http://edu./lesson/id-101079.html
【講師簡(jiǎn)介】
崔燦，百度開(kāi)放云資深工程師，主要做百度開(kāi)放云存儲(chǔ)工作，內(nèi)容有對(duì)象存儲(chǔ)、塊存儲(chǔ)和開(kāi)放云CDN等。之前主要經(jīng)歷主要是分布式存儲(chǔ)和在線(xiàn)檢索兩部分。
文章題目：百度對(duì)象存儲(chǔ)系統(tǒng)的架構(gòu)與演進(jìn)之路
分享網(wǎng)址：http://www.5511xx.com/article/cdjpisc.html
