Django中通过celery实现异步任务

Django中对于需要耗时较长的操作可能会导致阻塞。为此我们需要引入异步处理机制，即收到客户端请求后立即给予响应，中间具体的逻辑任务交给另一个进程处理。

1、celery是一种分布式异步任务队列。

yarn 获取任务的接口_数据库

  1. 异步任务通常在业务逻辑中被触发并发往消息队列，而定时任务由Celery Beat进程周期性地将任务发往消息队列；
  2. 任务执行单元Worker实时监视消息队列获取队列中的任务执行；
  3. Woker执行完任务后将结果保存在Backend中;

2、使用场景：

web应用：当用户在网站进行某个操作需要很长时间完成时，我们可以将这种操作交给Celery执行，直接返回给用户，等到Celery执行完成以后通知用户，提高网站的并发以及用户的体验感。

主要有：消息中间件broker、任务执行单元worker、结果存储backend

消息中间件是信息通讯（消息）的中间组件，负责消息的存储和管理。

作用

1、异步化提升性能

2、降低耦合度

对于系统A，发送消息后直接返回结果，不再管系统B后边怎么操作。而系统B故障恢复后重新到MQ中拉取消息，重新执行未完成的操作，这样一个流程，系统之间没有影响，也就实现了解耦。

yarn 获取任务的接口_分布式_02


3、流量削峰

假如我们的系统A是一个集群，不连接数据库，这个集群本身可以抗下1万QPS

系统B操作的是数据库，这个数据库只能抗下6000QPS(queries-per-second)，这就导致无论系统B如何扩容集群，都只能抗下6000QPS，它的瓶颈在于数据库。 假如突然系统QPS达到1万，就会直接导致数据库崩溃，那么引入消息中间件后：

yarn 获取任务的接口_django_03


yarn 获取任务的接口_redis_04


对于系统A没有什么影响，给MQ发送消息可以直接发送1万QPS。

此时对于系统B，可以自己控制获取消息的速度，保持在6000QPS以下，以一个数据库能够承受的速度执行操作。这样就可以保证数据库不会被压垮。

当然，这种情况MQ中可能会积压大量消息。但对于MQ来说，是允许消息积压的，等到系统A峰值过去，恢复成1000QPS时，系统B还是在以6000QPS的速度去拉取消息，自然MQ中的消息就慢慢被释放掉了。

任务模块包含定时任务 celery beat 和异步任务async task

celery worker -A cdscp -l debug

各个参数含义：

worker: 代表启动的角色是work

-A ：项目路径cdscp

-l：启动的日志级别

启动了worker，还需要通过delay或apply_async来将任务添加到worker中，区别就是后者支持传递更多的参数

默认情况下启动的队列名称为celery

可以设置不同的队列，并且为队列设置优先级。

CELERY_ACKS_LATE = True
CELERYD_PREFETCH_MULTIPLIER = 1
CELERY_QUEUES = (
    Queue("celery", Exchange("celery"), routing_key="celery"),
    Queue("celery_demo", Exchange("celery_demo"), routing_key="celery_demo", queue_arguments={'x-max-priority': 9})
)

在提交任务的时候apply_async设置队列指定为优先级队列celery_demo，并且设置优先级为5

sig.apply_async(queue='celery_demo',priority=5)

优先级解释

在当前我们的队列是空的，也就是在队列非阻塞的情况下，哪个任务先到先提交，哪个任务就先执行任务1。如果这时候队列中还有任务2，任务3。这时候任务2.任务3就要进行排序了，怎么排序呢，就是根据priority设置的数值，谁大谁优先执行。
这种只会在设置了优先级队列的时候才会进行这种排序，不然都是按照任务提交的顺序进行。

3、实例演示：

**

yarn 获取任务的接口_django_05


celery_task.py

import celery
import time

app = celery.Celery("celery_test",broker='redis://:@127.0.0.1:6379/0',backend='redis://:@127.0.0.1:6379/1')

@app.task
def send_email(param):
    time.sleep(5)
    print '向{}发送邮件'.format(param)
    return "ok"


@app.task
def send_msg(param):
    time.sleep(5)
    print '向{}发送短信'.format(param)
    return "ok"

produce_task.py

from celety_task import send_email, send_msg

result = send_email.delay('王子')
print result.id


result = send_msg.delay('王子')
print result.id

get_result.py

from celery.result import AsyncResult
from celety_task import app

ansyc_result = AsyncResult(id='f07403ed-90e0-42a1-b1bb-a2d75869495b', app=app)

if ansyc_result.successful():
    result = ansyc_result.get()
    print result
elif ansyc_result.failed():
    print "failed"
elif ansyc_result.status == 'pending':
    print 'pending'
elif ansyc_result.status == 'retry':
    print 'retry'
elif ansyc_result.status == 'started':
    print 'started'
celery worker -A celety_task -l info

出现下图，表示worker启动成功

yarn 获取任务的接口_yarn 获取任务的接口_06

任务执行成功之后会生成对应的任务id，redis中可以进行查询

yarn 获取任务的接口_redis_07


yarn 获取任务的接口_django_08


通过celery的AsyncResult对象获取执行结果

yarn 获取任务的接口_数据库_09