python - Django 1.6.5 和 Celery 3.1 用于定期任务

Question

我是 Django 1.6.5 的新手，我刚刚完成了投票教程:

https://docs.djangoproject.com/en/dev/intro/tutorial01/

我的目标是:

1. 设置定期任务，以便从 Oracle 服务器获取数据，并将其数据复制到我的 SQLite 数据库。 (按小时计算)
2. 复制数据后，我应该在 SQLite 数据库中将数据组织成我自己的格式。

目前我的文件夹内容是:

/Dashboard_Web
    /Dashboard_Web
        /settings.py
        /url.py
        /wsgi.py
        /__init___.py
    /WebApp
        /admin.py
        /models.py
        /tasks.py
        /tests.py
        /view.py
        /__init__.py
    /db.sqlite3
    /manage.py

目前除了 models.py 之外没有太多内容:来自 oracle 服务器的数据将被复制到 mapt、datt 和 sett。然后，我会将数据放入名为 data_parsed 的新表中，该表是 mapt、datt 和 sett 的组合。

from django.db import models

# Create your models here.

class mapt(models.Model):
    s = models.IntegerField(primary_key=True)
    name = models.CharField(max_length=200)

class datt(models.Model):
    s = models.IntegerField(primary_key=True)
    setid = models.IntegerField()
    var = models.IntegerField()
    val = models.IntegerField()

class sett(models.Model):
    setid = models.IntegerField()
    block = models.IntegerField()
    username = models.IntegerField()
    ts = models.IntegerField()

class data_parsed(models.Model):
    setid = models.CharField(max_length=2000)
    block = models.CharField(max_length=200)
    username = models.CharField(max_length=200)
    data = models.CharField(max_length=2000)
    time = models.IntegerField()

我已阅读 this question关于django+周期性任务

我的问题是:celery -A proj worker -B -l info 命令，我的问题是，如果我将 django 项目放到生产服务器(Gunicorn、apache)，celery Worker 是否会自动执行？

====================================编辑============ =====================

抱歉，如果我没有早点说，我正在使用 Windows，并且我无法使用 Ubuntu(我很乐意)，因为公司 IT 不支持它(我可以在 VMware 上安装 Ubuntu) ，但它无法访问互联网。

目前我关注的是celery的tutorial ，我执行了以下步骤:

1. 在我的 Windows 计算机上安装并下载了 Erlang 和 RabbitMQ
2. 创建了 3 个文件:celery.py、tasks.py、____init____.py

因此当前文件夹格式如下所示:

/Dashboard_Web
    /Dashboard_Web
        /settings.py
        /url.py
        /wsgi.py
        /__init___.py <== Updated
        /celery.py <=== Added
    /WebApp
        /admin.py
        /models.py
        /tasks.py
        /tests.py
        /view.py
        /__init__.py
        /tasks.py <=== Added
    /db.sqlite3
    /manage.py

Celery.py 的内容:

from __future__ import absolute_import

import os

from celery import Celery

from django.conf import settings

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'Dashboard_Web.settings')

app = Celery('Dashboard_Web')

# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)


@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

____init____.py 的内容:

from __future__ import absolute_import

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

tasks.py 的内容:

from __future__ import absolute_import

from celery import shared_task


@shared_task
def add(x, y):
    return x + y


@shared_task
def mul(x, y):
    return x * y


@shared_task
def xsum(numbers):
    return sum(numbers)

@periodic_task(run_every=(crontab(hour="*", minute="*", day_of_week="*")))
def scraper_example():
    print("Hello World")
    logger.info("Start task")
    logger.info("Task finished: result")

我能够执行:

python manage.py runserver
celery -A Dashboard_Web worker -l INFO 

没有任何问题，但是控制台中没有显示任何内容:

[2014-07-02 11:46:12,835: INFO/MainProcess] Connected to amqp://guest:**@127.0.0.1:5672//
[2014-07-02 11:46:12,880: INFO/MainProcess] mingle: searching for neighbors
[2014-07-02 11:46:13,957: INFO/MainProcess] mingle: all alone
C:\Python27\lib\site-packages\celery\fixups\django.py:236: UserWarning: Using settings.DEBUG leads to a memory leak, nev
er use this setting in production environments!
  warnings.warn('Using settings.DEBUG leads to a memory leak, never '

[2014-07-02 11:46:13,994: WARNING/MainProcess] C:\Python27\lib\site-packages\celery\fixups\django.py:236: UserWarning: U
sing settings.DEBUG leads to a memory leak, never use this setting in production environments!
  warnings.warn('Using settings.DEBUG leads to a memory leak, never '

[2014-07-02 11:46:14,012: WARNING/MainProcess] celery@LEIMAX1 ready.

Answer 1

这是主管的步骤

>> apt-get install supervisor
>> service supervisor restart

然后在 /etc/supervisor/conf.d/celery.conf 中创建一个conf文件，其中包含类似以下内容:

[program:celery-worker]
command=/root/.virtualenvs/test/bin/celery -A Dashboard_Web worker -l INFO
autostart=true
autorestart=true
stderr_logfile=/var/log/long.err.log
stdout_logfile=/var/log/long.out.log

[program:celery-beat]
command=/root/.virtualenvs/test/bin/celery -A Dashboard_Web beat -l INFO
autostart=true
autorestart=true
stderr_logfile=/var/log/long.err.log
stdout_logfile=/var/log/long.out.log

您还应该使用此 tutorial 设置 celery.py .

然后运行:

>> supervisorctl reread
>> supervisorctl update

通过运行查看状态

>> supervisorctl status