建站
咨詢
售后
建站咨詢
新聞中心
本節(jié)和大家一起學習一下HadoopOnDemand的配置，本節(jié)主要介紹HadoopOnDemand的幾種配置項，歡迎大家一起來學習，希望通過本節(jié)的節(jié)的介紹大家對HadoopOnDemand有一定的理解。
堅守“ 做人真誠 · 做事靠譜 · 口碑至上 · 高效敬業(yè) ”的價值觀，專業(yè)網(wǎng)站建設服務10余年為成都展覽展示小微創(chuàng)業(yè)公司專業(yè)提供企業(yè)網(wǎng)站制作營銷網(wǎng)站建設商城網(wǎng)站建設手機網(wǎng)站建設小程序網(wǎng)站建設網(wǎng)站改版，從內(nèi)容策劃、視覺設計、底層架構、網(wǎng)頁布局、功能開發(fā)迭代于一體的高端網(wǎng)站建設服務。
HadoopOnDemand：配置指南
1.簡介
這個文檔講述了一些最重要和常用的HadoopOnDemand（HOD）的配置項。這些配置項可通過兩種方式指定：INI風格的配置文件，通過--section.option[=value]格式指定的HODshell的命令行選項。如果兩個地方都指定了同一個選項，命令行中的值覆蓋配置文件中的值。
你可以通過以下命令獲得所有配置項的簡要描述：
$hod--verbose-help
2.段
HOD配置文件分成以下幾個配置段：
hod：HOD客戶端的配置項
resource_manager：指定要使用的資源管理器的配置項，以及使用該資源管理器時需要的一些其他參數(shù)。
ringmaster：RingMaster進程的配置項
hodring：HodRing進程的配置項
gridservice-mapred：Map/Reduce守護進程的配置項
gridservice-hdfs：HDFS守護進程的配置項
3.HadoopOnDemand中HOD配置項
接下來的一節(jié)會先描述大部分HOD配置段中通用的一些配置項，再描述各配置段特有的配置項。
3.1一般的配置項
某些配置項會在HOD配置中的多個段定義。在一個段中定義的配置項，會被該段所適用的所有進程使用。這些配置項意義相同，但在不同的段中可以有不同的取值。
temp-dir:HOD進程使用的臨時目錄。請確保運行hod的用戶有權限在這個指定的目錄下創(chuàng)建子目錄。如果想在每次分配的時候都使用不同的臨時目錄，可以使用環(huán)境變量，資源管理器會讓這些環(huán)境變量對HOD進程可用。例如，在Torque設置的時候，使--ringmaster.temp-dir=/tmp/hod-temp-dir.$PBS_JOBID會讓ringmaster在每一次申請時使用不同的臨時目錄；Troque會在ringmaster啟動前展開這個環(huán)境變量。
debug：數(shù)值類型，取值范圍是1-4。4會產(chǎn)生最多的log信息。
log-dir：日志文件的存放目錄。缺省值是
xrs-port-range：端口范圍，會在這之中挑選一個可用端口用于運行XML-RPC服務。
http-port-range：端口范圍，會在這之中挑選一個可用端口用于運行HTTP服務。
java-home：給Hadoop使用的Java的位置。
syslog-address：syslog守護進程要綁定的地址。格式為host:port。如果配置了這個選項，HOD日志信息會被記錄到這個位置的syslog。
3.2HadoopOnDemand中hod的配置項
cluster：集群的描述性名稱。對于Torque，這個值被指定為集群中所有節(jié)點的'Nodeproperty'。HOD使用這個值計算可用節(jié)點的個數(shù)。
client-params：逗號分割的hadoop配置參數(shù)列表，其中的每一項都是一個key-value對。在提交節(jié)點上會據(jù)此產(chǎn)生一個hadoop-site.xml，用于運行Map/Reduce作業(yè)。
job-feasibility-attr:正則表達式，用于指定是否和如何檢查作業(yè)的可行性－資源管理器限制或調(diào)度限制。目前是通過torque作業(yè)的'comment'屬性實現(xiàn)的，缺省情況下沒有開啟這個功能。設置了這個配置項后，HOD會使用它來確定哪些種類的限制是啟用的，以及請求超出限制或者累積超出限制時是回收機群還是留在排隊狀態(tài)。torquecomment屬性可以被某個外部機制周期性地更新。比如，comment屬性被hod/support目錄下的checklimits.sh更新，這樣設置job-feasibility-attr的值等于TORQUE_USER_LIMITS_COMMENT_FIELD,"User-limitsexceeded.Requested:([0-9]*)Used:([0-9]*)MaxLimit:([0-9]*)"會使HOD產(chǎn)生相應的行為。
3.3HadoopOnDemand中resouce_manager的配置項
queue：資源管理器中配置的隊列名，作業(yè)會被提交到這里。
batch-home：個安裝目錄，其下的'bin'中有資源管理器的可執(zhí)行文件。
env-vars：逗號分隔的key-value對的列表，形式是key=value，它會被傳遞給運行在計算節(jié)點的作業(yè)。例如，如果ptyhon沒有安裝在常規(guī)位置，用戶可以通過設置環(huán)境變量'HOD_PYTHON_HOME'指定python可執(zhí)行文件的路徑。之后，在計算節(jié)點運行的HOD的進程就可以使用這個變量了。
網(wǎng)頁題目：HadoopOnDemand配置新手指南
分享路徑：http://www.5511xx.com/article/dpgdpph.html
