建站
咨詢
售后
建站咨詢
新聞中心
雖然現(xiàn)代的網(wǎng)絡(luò)應(yīng)用比以往任何時候都更快速、更便捷，但仍有許多情況下，需要把繁重的任務(wù)轉(zhuǎn)移到系統(tǒng)的其他部分執(zhí)行，而不是在主線程上進(jìn)行工作。
目前成都創(chuàng)新互聯(lián)公司已為超過千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁空間、網(wǎng)站改版維護(hù)、企業(yè)網(wǎng)站設(shè)計、袁州網(wǎng)站維護(hù)等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。
這些情況中的示例如下：
- 周期性任務(wù) —— 計劃在特定時間間隔內(nèi)運(yùn)行的工作。例如，每日、每月的報告生成。
- 第三方工具 —— 應(yīng)用程序應(yīng)該快速向用戶返回響應(yīng)，而不是等待其他任務(wù)先完成。例如，發(fā)送電子郵件、通知，將更新進(jìn)度傳遞給內(nèi)部工具。
- 長時間運(yùn)行的工作 —— 執(zhí)行復(fù)雜或資源昂貴的工作，并且用戶需要等待工作完成。例如。DAG工作流、基于Map-Reduce的任務(wù)、長時間運(yùn)行的Spark作業(yè)等。
那么，如何處理這些情況呢？這時，Celery就派上用場了。
什么是Celery？
Celery是一個開源的任務(wù)隊(duì)列實(shí)現(xiàn)，通常與基于Python的網(wǎng)絡(luò)框架（如Flask和Django）相結(jié)合，在典型的請求-響應(yīng)周期之外異步執(zhí)行任務(wù)。
因此，Celery本質(zhì)上是一個基于分布式消息傳遞的任務(wù)隊(duì)列。執(zhí)行單元或任務(wù)在一個或多個worker上使用多處理、gevent或Eventlet同時執(zhí)行。這些任務(wù)可以同步執(zhí)行（即等到準(zhǔn)備就緒）或異步執(zhí)行（即在后臺）。
Celery是如何工作的？
Celery是一個分布式任務(wù)隊(duì)列，基于生產(chǎn)者-消費(fèi)者模式。
任務(wù)隊(duì)列是用于跨線程和機(jī)器分配工作的機(jī)制，本質(zhì)上是生產(chǎn)者（Web應(yīng)用程序）和消費(fèi)者（Celery工作者）之間的消息中介。
Celery通過消息進(jìn)行交互，代理（broker）在客戶（生產(chǎn)者）和工作者（消費(fèi)者）之間充當(dāng)中間人。為了啟動任務(wù)，客戶端將消息推送到隊(duì)列中，然后代理將該消息傳遞給工作者。
Celery系統(tǒng)可以由多個worker和broker組成，這為高可用性和橫向擴(kuò)展提供了可能。
簡而言之，Celery客戶端是生產(chǎn)者，它通過消息代理向隊(duì)列中添加新的任務(wù)。然后，Celery工作者同樣通過消息代理從隊(duì)列中獲取新的任務(wù)。一旦處理完畢，結(jié)果就會存儲在結(jié)果后端。
工作實(shí)例
下面的例子將使用RedisMQ作為消息代理。
設(shè)置Redis
在linux/macOS系統(tǒng)上，通過以下命令在本地運(yùn)行Redis服務(wù)器：
$ wget http://download.redis.io/redis-stable.tar.gz
$ tar xvzf redis-stable.tar.gz
$ rm redis-stable.tar.gz
$ cd redis-stable
$ make
設(shè)置好Redis后，通過執(zhí)行以下命令運(yùn)行Redis服務(wù)器：
$ redis-server
該服務(wù)器在默認(rèn)的6379端口運(yùn)行。
設(shè)置應(yīng)用程序
首先，在本地設(shè)置Python項(xiàng)目。
Celery可以通過標(biāo)準(zhǔn)工具如pip或easy_install來安裝。通過以下命令安裝Celery和Redis：
pip install celery redis==4.3.4
現(xiàn)在需要一個Celery實(shí)例來運(yùn)行應(yīng)用程序，Celery實(shí)現(xiàn)任何任務(wù)都是以實(shí)例開始，比如創(chuàng)建和管理任務(wù)等。
在項(xiàng)目中創(chuàng)建一個文件tasks.py：
From celery import Celery
broker_url = 'redi://localhost:6379/0'
app = Celery('tasks',broker = broker_url)
@app.task
def add(x, y):
return x+y
這里定義了一個簡單的任務(wù)add()，返回兩個數(shù)字的總和。
運(yùn)行Celery Worker
在終端上，切換到項(xiàng)目位置并用以下命令運(yùn)行Celery worker：
$ celery -A tasks worker - loglevel=info
關(guān)于Celery worker命令行的詳細(xì)信息，可以使用help：
$ celery worker - help
調(diào)用任務(wù)
在Celery中，使用delay()方法來調(diào)用任務(wù)。
打開項(xiàng)目的另一個終端窗口并運(yùn)行以下命令：
$ python
這將打開Python命令行。
>> from tasks import add
>> add.delay(1,2)
這將返回一個AsyncResult實(shí)例，可以用來檢查任務(wù)狀態(tài)，獲得其返回值，等待任務(wù)完成，也可以在失敗時獲得異常和回溯。
運(yùn)行add.delay()命令后，任務(wù)會被推送到隊(duì)列中，然后被worker獲取。這可以在Celery worker終端上進(jìn)行驗(yàn)證，可以清楚地看到任務(wù)被接收，之后任務(wù)成功完成。
當(dāng)前名稱：輕松完成異步任務(wù)，一文搞懂PythonCelery
網(wǎng)頁鏈接：http://www.5511xx.com/article/dpiscjh.html
