建站
咨詢
售后
建站咨詢
新聞中心
Ray是UC Berkeley RISE Lab新推出的高性能分布式執(zhí)行框架，它使用了和傳統(tǒng)分布式計(jì)算系統(tǒng)不一樣的架構(gòu)和對(duì)分布式計(jì)算的抽象方式，具有比Spark更優(yōu)異的計(jì)算性能。Ray是一個(gè)基于Python的分布式執(zhí)行引擎。相同的代碼可以在單個(gè)機(jī)器上運(yùn)行以實(shí)現(xiàn)高效的多處理，并且可以在群集上用于大量的計(jì)算。
Anaconda
為了方便，我們最好利用 Anaconda構(gòu)建來(lái)一個(gè)獨(dú)立的python運(yùn)行環(huán)境。(當(dāng)然你也可以直接使用系統(tǒng)內(nèi)python運(yùn)行環(huán)境，那么你可以跳過(guò)此步驟)
# 下載安裝腳本
$ wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 添加執(zhí)行權(quán)限
$ chmod u+x Miniconda3-latest-Linux-x86_64.sh
# 運(yùn)行安裝腳本
$ ./Miniconda3-latest-Linux-x86_64.sh
安裝python
為ray準(zhǔn)備一個(gè)python環(huán)境，以python3.8.8示例：
# 創(chuàng)建一個(gè)名為ray，版本為3.8.8的python環(huán)境
$ conda create --name ray python=3.8.8
# 激活名為ray的python環(huán)境
$ conda activate ray
安裝完之后，最好重新登錄一下，或者執(zhí)行一下source ~/.bashrc使得環(huán)境變量生效
安裝ray
安裝ray(版本為1.7.0)，這里為了加快速度指定了阿里的鏡像源：
$ pip install -i https://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com -U 'ray[default]'==1.7.0
啟動(dòng)head節(jié)點(diǎn)
在192.168.100.1上啟動(dòng)Head節(jié)點(diǎn):
$ ray start --head --dashboard-host='0.0.0.0' --dashboard-port=8265
正常會(huì)看到如下輸出：
Local node IP: 192.168.100.1
2021-11-02 18:33:11,977 INFO services.py:1250 -- View the Ray dashboard at http://192.168.100.1:8265
--------------------
Ray runtime started.
--------------------
Next steps
To connect to this Ray runtime from another node, run
ray start --address='192.168.100.1:6379' --redis-password='5241590000000000'
...
輸出信息包含了2個(gè)關(guān)鍵信息，需要?jiǎng)e注意：
-
View the Ray dashboard at http://192.168.100.1:8265：web服務(wù)的地址
-
ray start --address='192.168.100.1:6379' --redis-password='524159000'：head的地址和密碼
啟動(dòng)worker節(jié)點(diǎn)
在192.168.100.2上，按照上面的步驟將python和ray安裝好，注意它們的版本必須保持一致。 （另外，Worker不是必須的，因?yàn)镠ead節(jié)點(diǎn)本身就具有worker角色）
# 連接指定的Head地址
$ ray start --address='192.168.100.1:6379' --redis-password='5241590000000000'
Dashboad
訪問(wèn)dashboard：http://192.168.100.1:8265
dashboard.png
相關(guān)鏈接：
無(wú)法訪問(wèn)Ray Dashboard的幾個(gè)原因
網(wǎng)頁(yè)標(biāo)題：Linux下部署Ray集群
鏈接URL：http://www.5511xx.com/article/cdhepod.html
