日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

RELATEED CONSULTING
相關(guān)咨詢
選擇下列產(chǎn)品馬上在線溝通
服務(wù)時(shí)間：8:30-17:00
你可能遇到了下面的問題
關(guān)閉右側(cè)工具欄

新聞中心

這里有您想知道的互聯(lián)網(wǎng)營銷解決方案
Apache Mesos底層基礎(chǔ)庫

1. Protocol buffer

創(chuàng)新互聯(lián)專注于開江企業(yè)網(wǎng)站建設(shè),響應(yīng)式網(wǎng)站開發(fā),商城網(wǎng)站建設(shè)。開江網(wǎng)站建設(shè)公司,為開江等地區(qū)提供建站服務(wù)。全流程按需設(shè)計(jì)，專業(yè)設(shè)計(jì)，全程項(xiàng)目跟蹤，創(chuàng)新互聯(lián)專業(yè)和態(tài)度為您提供的服務(wù)

Protocal Buffer是google開源的用于數(shù)據(jù)交換的庫，常用于跨語言的數(shù)據(jù)訪問，擔(dān)任的角色一般為對象的序列化/反序列化。 另一個(gè)與之類似的開源軟件是facebook開源的thrift，它們兩個(gè)最大區(qū)別是thrift提供了自動(dòng)生成RPC的功能而Protocal Buffer需要自己實(shí)現(xiàn)，但Protocal Buffer的一個(gè)優(yōu)勢是其序列化/反序列化非常高效。

2. Libprocess

libprocess是采用C/C++編寫的高效消息傳遞編程模型（基于消息傳遞的網(wǎng)絡(luò)通信模型，而不是RPC），由伯克利開源。 其整個(gè)實(shí)現(xiàn)非常簡單，包括最基本的消息發(fā)送和接收等。

2.1 Libprocess模型

在mesos中，主要有四個(gè)角色，分別是：mesos-master，mesos-slave，framework（Hadoop/Spark /MPI等） scheduler，executor（在mesos-slave上執(zhí)行framework task的組件），每種角色均是一個(gè)Process，在實(shí)現(xiàn)時(shí)會(huì)繼承l(wèi)ibprocess中的ProtobufProcess類（它又繼承了 Process類），這樣，它們均會(huì)編成一個(gè)后臺(tái)運(yùn)行且不斷監(jiān)聽protocal buffer消息的socket server，如下圖所示：

2.2 各種常用函數(shù)

Libprocess+protocol buffer組合是mesos最底層最重要的消息傳遞基礎(chǔ)庫（沒有采用RPC機(jī)制），由于該庫采用了基于Protocal Buffer消息傳遞的通信機(jī)制），因而非常高效。Mesos常用的兩個(gè)頭文件是libprocess\include\process下的 process.hpp和protobuf.hpp，這兩個(gè)提供了用于消息傳遞的API，其中process.hpp是最核心的文件，提供了原始的接口， 而protobuf.hpp是在process.hpp基礎(chǔ)上，加入了ProtocalBuffer對象參數(shù)，使ProtocalBuffer使用起來更 加容易。

(1) install

void install(void (T::*method)(P1C),P1 (M::*param1)() const);

安裝一個(gè)處理ProtocalBuffer消息的handler，其中，消息類型是M，該消息對應(yīng)的處理函數(shù)是method，函數(shù)參數(shù)為M::*param1。舉例：mesos中slave/slave.cpp：

 
 
 
 
      
  
  
  
  1. install( 
    2.   
  
  
  
  2.       &Slave::newMasterDetected, 
    3.   
  
  
  
  3.       &NewMasterDetectedMessage::pid); 
    4.

安裝一個(gè)處理NewMasterDetectedMessage（ProtocalBuffer對象）的handler，mesos slave一旦接收到該消息，便會(huì)調(diào)用newMasterDetected函數(shù)處理， 且該函數(shù)的輸入?yún)?shù)是NewMasterDetectedMessage消息中的pid屬性。

 
 
 
 
      
  
  
  
  1. void install(const std::string& name,void (T::*method)(const UPID&, const std::string&)) 
    2.

安裝一個(gè)處理字符串的handler，也就是說，當(dāng)收到字符串name后，調(diào)用函數(shù)method進(jìn)行處理。這個(gè)API在mesos中的典型應(yīng)用時(shí)維持master與slave之間的心跳，以確定彼此活著：

在slave/slave.cpp中：

 
 
 
 
      
  
  
  
  1. install("PING", &Slave::ping); 
    2.   
  
  
  
  2.   
    3.   
  
  
  
  3. void Slave::ping(const UPID& from, const string& body) 
    4.   
  
  
  
  4. { 
    5.   
  
  
  
  5.   send(from, "PONG"); 
    6.   
  
  
  
  6. } 
    7.

在master/master.cpp中：

 
 
 
 
      
  
  
  
  1. install("PONG", &SlaveObserver::pong); 
    2.   
  
  
  
  2.   void pong(const UPID& from, const string& body) 
    3.   
  
  
  
  3.   { 
    4.   
  
  
  
  4.     timeouts = 0; 
    5.   
  
  
  
  5.     pinged = false; 
    6.   
  
  
  
  6.   } 
    7.   
  
  
  
  7.   void timeout() 
    8.   
  
  
  
  8.   { 
    9.   
  
  
  
  9.     if (pinged) { // So we haven't got back a pong yet ... 
    10.   
  
  
  
  10.       if (++timeouts >= MAX_SLAVE_TIMEOUTS) { 
    11.   
  
  
  
  11.         deactivate(); 
    12.   
  
  
  
  12.         return; 
    13.   
  
  
  
  13.       } 
    14.   
  
  
  
  14.     } 
    15.   
  
  
  
  15.     send(slave, "PING"); 
    16.   
  
  
  
  16.     pinged = true; 
    17.   
  
  
  
  17.     delay(SLAVE_PONG_TIMEOUT, self(), &SlaveObserver::timeout); 
    18.   
  
  
  
  18.   } 
    19.

(2)send

 
 
 
 
      
  
  
  
  1. void send(const process::UPID& to, const google::protobuf::Message& message) 
    2.

向某個(gè)UPID上發(fā)送消息，其中UPID代表一個(gè)socket，里面含有ip和port信息，而消息message是ProtocalBuffer定義的對象。

(3) dispatch

 
 
 
 
      
  
  
  
  1. void dispatch(const UPID& pid, 
    2.   
  
  
  
  2.   const std::tr1::shared_ptr >& f) 
    3.

執(zhí)行進(jìn)程pid中的函數(shù)f，為了提高效率，該函數(shù)并不會(huì)等到函數(shù)f執(zhí)行完成，而是采用了異步的方法：將函數(shù)f放入一個(gè)函數(shù)隊(duì)列，由另外一個(gè)進(jìn)程（或者多個(gè)）不斷從隊(duì)列中獲取函數(shù)，依次執(zhí)行。

(4) delay

 
 
 
 
      
  
  
  
  1. Timer delay(double secs,const PID& pid,void (T::*method)()) 
    2.

延遲secs秒調(diào)度進(jìn)程pid中的方法method，并返回一個(gè)計(jì)數(shù)器，通過這個(gè)計(jì)時(shí)器，可取消該調(diào)度。

在mesos中，巧妙地通過該函數(shù)構(gòu)造了一個(gè)無限循環(huán)以不斷檢測空閑資源，并將之分配給各個(gè)框架，代碼如下：

 
 
 
 
      
  
  
  
  1. void Master::initialize() { 
    2.   
  
  
  
  2. …… 
    3.   
  
  
  
  3.   timerTickTimer = delay(1.0, self(), &Master::timerTick); 
    4.   
  
  
  
  4. } 
    5.   
  
  
  
  5. void Master::timerTick() { 
    6.   
  
  
  
  6.   …… 
    7.   
  
  
  
  7.   timerTickTimer = delay(1.0, self(), &Master::timerTick); 
    8.   
  
  
  
  8. } 
    9.

上面函數(shù)代碼段可完成每1s調(diào)用一次timerTick函數(shù)的功能。

3. Boost

非常有名的開源C++基礎(chǔ)庫，里面的STL非常高效方便，已被很多著名軟件采用。

4. Zookeeper

是一個(gè)針對大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。 Mesos采用zookeeper解決master單點(diǎn)故障問題，使用zookeeper搭建一個(gè)master集群，當(dāng)master出現(xiàn)故障時(shí)，選擇一個(gè) standby master 變?yōu)閙aster。

5. glog

Google開源的C++日志庫，主用于C++程序中打印日志，打印格式如下：

I0411 17:26:54.150193 20653 main.cpp:111] Creating “process” isolation module

I0411 17:26:54.150400 20653 main.cpp:119] Build: 2012-04-11 16:50:21 by root

I0411 17:26:54.150658 20653 main.cpp:120] Starting Mesos slave

I0411 17:26:54.152981 20669 slave.cpp:191] Slave started on 123.145.2.2:34694

I0411 17:26:54.153024 20669 slave.cpp:192] Slave resources: cpus=2; mem=490

6. gmock

開源 C++ 單元測試框架

7. 參考資料

（1）Mesos主頁：http://www.mesosproject.org/index.html

（2）Mesos代碼：https://svn.apache.org/repos/asf/incubator/mesos/trunk/


網(wǎng)站欄目：Apache Mesos底層基礎(chǔ)庫
地址分享：http://www.5511xx.com/article/ccejjge.html