作者热门文章
- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我的 celery 应用程序如下。我使用celery 4.4.2和Python 2.7.5以及OS是CentOs 7.4。这个想法是通过celery,通过在java_zip_sign_exe变量中定义的shell脚本,对分布在不同主机上的多个工作程序分布的shell脚本,使用celery对沉重的文件进行签名(有时,每个文件有时需要长达30分钟的签名)。 sign_heavy_java_zip_files()进行sign_heavy_java_zip_file()的异步调用,并为其提供了所有文件名。
sign_celery_app.py
app = Celery('tasks', broker='redis://:<hostname>:6379/0',backend='redis://:<hostname>:6379/0')
app.conf['worker_prefetch_multiplier'] = 1
app.conf['task_acks_late'] = True
app.conf.task_default_queue = 'default'
app.conf.tasks_queues = (
Queue('default', exchange='default', routing_key='default'),
Queue('heavy_java_zip', exchange='heavy_java_zip', routing_key='heavy_java_zip'),
@app.task
def sign_java_zip_file(filename,User,MaxPerJavaZipFileTime,Site):
print ("Started Signing " + filename + java_zip_sign_exe )
process=subprocess.Popen([java_zip_sign_exe,filename,User,str(MaxPerJavaZipFileTime),Site],stdout=subprocess.PIPE,stderr=subprocess.PIPE)
out,err = process.communicate()
print ("Finished Signing " + filename )
return (process.returncode,out,err)
@app.task(queue='heavy_java_zip')
def sign_heavy_java_zip_files(filenames,User,MaxPerJavaZipFileTime,Site):
job = group(sign_java_zip_file.s(filename,User,MaxPerJavaZipFileTime,Site) for filename in filenames )
job_results=job.apply_async(queue='heavy_java_zip')
return job_results
celery -A sign_celery_app worker --loglevel=info --concurrency=2 -O fair -Q "heavy_java_zip"
results_heavy_java_zip=sign_heavy_java_zip_files.delay(heavy_java_zip_file_list,User,int(MaxPerJavaZipFileTime),Site)
results_heavy_java_zip.get(timeout=(MaxTotalJavaZipTime*60))
最佳答案
我相信错误在于方式,函数调用是在主例程中完成的。
results_heavy_java_zip=sign_heavy_java_zip_files.delay(heavy_java_zip_file_list,User,int(MaxPerJavaZipFileTime),Site)
results_heavy_java_zip=sign_heavy_java_zip_files(heavy_java_zip_file_list,User,int(MaxPerJavaZipFileTime),Site)
关于python - celery 异步获取超时永不超时,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62178043/
我是一名优秀的程序员,十分优秀!