python - celery UnicodeDecodeError 与 django

Question

我在 Django==1.5 上使用 celery==3.0.23 有一些问题，

让我把你们都放在上下文中，我使用 Celery 和 RabbitMQ 作为消息代理来在我的 Django 项目中维护一个异步任务队列，因为它们涉及与远程服务的太多交互，无法在线完成。

这是我的settings.py中的django-celery配置，我还有celery和djcelery在我的 INSTALLED_APPS 元组中

import djcelery

BROKER_URL = 'amqp://guest:guest@localhost:5672'
CELERY_ROUTES = {
    'users.tasks.sync_messages': {'queue': 'cron'},
    'users.tasks.update_balance': {'queue': 'cron'},
    'profiles.tasks.*': {'queue': 'job'}
}

CELERYBEAT_SCHEDULE = {
    'sync-messages': {
        'task': 'users.tasks.sync_messages',
        'schedule': crontab(minute='*/4'),
    },
    'update-balance': {
        'task': 'users.tasks.update_balance',
        'schedule': crontab(minute='*/5'),
    },
}

(我也有一些预定的工作)

我在 profiles.helpers 中定义了一些方法，我称这些方法为如 celery 文档中所述:

method.delay(arg1, arg2...)

并且由于 UnicodeDecodeError 而拒绝作业

我用 -l DEBUG 选项运行了 celeryd，这是我尝试时的输出排队工作:

[2013-09-13 17:19:56,108: DEBUG/MainProcess] consumer: Ready to accept tasks!
[2013-09-13 17:21:13,970: WARNING/MainProcess] Traceback (most recent call last):
[2013-09-13 17:21:13,970: WARNING/MainProcess] File "/usr/lib/python2.7/logging/__init__.py", line 851, in emit
[2013-09-13 17:21:14,020: WARNING/MainProcess] msg = self.format(record)
[2013-09-13 17:21:14,021: WARNING/MainProcess] File "/usr/lib/python2.7/logging/__init__.py", line 724, in format
[2013-09-13 17:21:14,021: WARNING/MainProcess] return fmt.format(record)
[2013-09-13 17:21:14,021: WARNING/MainProcess] File "/home/israelord/.virtualenvs/ringtu/local/lib/python2.7/site-packages/celery/utils/log.py", line 110, in format
[2013-09-13 17:21:14,041: WARNING/MainProcess] return safe_str(logging.Formatter.format(self, record))
[2013-09-13 17:21:14,041: WARNING/MainProcess] File "/usr/lib/python2.7/logging/__init__.py", line 464, in format
[2013-09-13 17:21:14,041: WARNING/MainProcess] record.message = record.getMessage()
[2013-09-13 17:21:14,041: WARNING/MainProcess] File "/usr/lib/python2.7/logging/__init__.py", line 328, in getMessage
[2013-09-13 17:21:14,042: WARNING/MainProcess] msg = msg % self.args
[2013-09-13 17:21:14,042: WARNING/MainProcess] UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 58: ordinal not in range(128)
[2013-09-13 17:21:14,042: WARNING/MainProcess] Logged from file consumer.py, line 589

我知道这里没有太多信息，但我不知道如何调试它

我认为这与 Celery 如何序列化任务有关，但我尝试了几种序列化程序得到了相同的结果，我正在阅读一些博客文章，发现这是 Celery < 3.0 版本上的一个非常常见的问题，并且在 Celery 3.0 上已解决

任何人都可以告诉我这个吗？

非常感谢您花时间阅读和帮助。

Answer 1

通常，将 Django 查询集对象或延迟计算的对象(如 User)传递到 Celery 任务中不是一个好主意，因为它们不能很好地序列化。我建议通过仅传递用户名字符串来简化您发送的内容，然后在 celery 任务中再次查询该用户的数据库。