Django celery實現(xiàn)異步任務(wù)操作,并在后臺運(yùn)行(守護(hù)進(jìn)程)
沒廢話,直接上代碼。
環(huán)境說明:
python3.6
django2.0.5
我們使用redis的作為celery任務(wù)隊列,有一個合成包可以直接安裝兩者一起使用需要的安裝包
直接在終端鍵入
pip install celery-with-redis
就可以安裝需要的依賴包了
構(gòu)建項目過程略過,直接開始進(jìn)行celery配置
一、celery配置。我們的項目名稱為myproject,首先setting配置,添加
# celery settings# celery中間人 redis://redis服務(wù)所在的ip地址:端口/數(shù)據(jù)庫號BROKER_URL = ’redis://localhost:6379/3’# celery結(jié)果返回,可用于跟蹤結(jié)果CELERY_RESULT_BACKEND = ’redis://localhost:6379/3’ # celery內(nèi)容等消息的格式設(shè)置CELERY_ACCEPT_CONTENT = [’application/json’, ]CELERY_TASK_SERIALIZER = ’json’CELERY_RESULT_SERIALIZER = ’json’ # celery時區(qū)設(shè)置,使用settings中TIME_ZONE同樣的時區(qū)CELERY_TIMEZONE = TIME_ZONE
然后在PATH/myproject/myproject/即setting的同級目錄下創(chuàng)建celery.py,初始化celery。
from __future__ import absolute_import, unicode_literals from celery import Celeryfrom django.conf import settingsimport os # 獲取當(dāng)前文件夾名,即為該Django的項目名project_name = os.path.split(os.path.abspath(’.’))[-1]project_settings = ’%s.settings’ % project_name # 設(shè)置環(huán)境變量os.environ.setdefault(’DJANGO_SETTINGS_MODULE’, project_settings) # 實例化Celeryapp = Celery(project_name) # 使用django的settings文件配置celeryapp.config_from_object(’django.conf:settings’) # Celery加載所有注冊的應(yīng)用app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
這里第一行輸入不能換位置,只能在首行,否則會報錯。
這里的實例化celery的app我們在別處要導(dǎo)入,為了方便導(dǎo)入,我們把它放到__init__.py里,所以在/myproject/myproject/__init__.py我們加入
from __future__ import absolute_import, unicode_literals # 引入celery實例對象from .celery import app as celery_app
這樣同時也能告知django celery.py文件的存在。
二、用celery裝飾我們的需要進(jìn)行的異步函數(shù)。我們在項目根目錄下創(chuàng)建celery_tasks模塊,即在PATH/myproject/下創(chuàng)建該模塊,然后在該模塊下創(chuàng)建tasks.py,把我們的耗時程序?qū)戇M(jìn)去。
from myproject import celery_appimport time @celery_app.taskdef time_consuming_fun(): for i in range(5): time.sleep(1) print(i) return ’ok’
直接用我們的celery_app下的task方法裝飾需要進(jìn)行異步處理的函數(shù)即可。
三、調(diào)用異步函數(shù)。在view中調(diào)用,這里用的是Django的類視圖。
from celery_tasks.tasks import time_consuming_funfrom django.views import Viewfrom django.http import JsonResponse # Create your views here. class MyView(View): def get(self,request): #異步調(diào)用 time_consuming_fun.delay() #直接調(diào)用 #time_consuming_fun() return JsonResponse({’msg’:’ok’,’code’:200})
配置好url即可。
四、啟動celery。在項目根目錄下,即managy同級文件目錄下,輸入命令:
celery -A myproject worker -l info
此時celery在終端窗口運(yùn)行,關(guān)閉終端celery就會停止。
輸入命令
celery multi start w1 -A myproject -l info --logfile = celerylog.log --pidfile = celerypid.pid
此時celery為守護(hù)進(jìn)程,日志記錄在celerylog.log里。
日志文件可以指定路徑PATH/celerylog.log,此時會在指定路徑下創(chuàng)建日志文件。進(jìn)程號文件類似。
停止或重啟將開始換為stop或restart即可,所以需記錄w1,即需記錄woker的名稱來方便重啟和停止。
補(bǔ)充:Django項目后臺不掛斷運(yùn)行
方法一:1、進(jìn)入項目目錄下,運(yùn)行下面程序:
nohup python manage.py runserver 0.0.0.0:5008 &
nohup(no hang up)用途:不掛斷的運(yùn)行命令
&用途:在后臺運(yùn)行
nohup /root/start.sh &
在shell中回車后提示:
[~]$ appending output to nohup.out
原程序的的標(biāo)準(zhǔn)輸出被自動改向到當(dāng)前目錄下的nohup.out文件,起到了log的作用。
注意:在nohup執(zhí)行成功后直接點擊關(guān)閉程序按鈕關(guān)閉終端,會斷掉該命令對應(yīng)的session,導(dǎo)致nohup對應(yīng)的進(jìn)程被通知一起shutdown。所以在使用nohup命令后臺運(yùn)行命令之后,需要使用exit正常退出當(dāng)前賬戶,這樣才能保證命令一直在后臺運(yùn)行。
方法二:這個比較高級,使用screen1、安裝screen
yum install -y screen
2、新建一個screen
screen -S xiedi
這樣會新開一個窗口,然后執(zhí)行命令即可
python manage.py runserver 0.0.0.0:9000
3、重開一個窗口,列出所有screen進(jìn)程,如下
[root@docker ~]# screen -lsThere are screens on: 3029.xiedi (Attached)
4、如果想鏈接上這個會話,執(zhí)行命令即可
screen -r 3029
以上為個人經(jīng)驗,希望能給大家一個參考,也希望大家多多支持好吧啦網(wǎng)。如有錯誤或未考慮完全的地方,望不吝賜教。