- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
有没有办法判断我们的 celery worker 是否进入热关机状态?换句话说,我可以检查是否有待处理的 SIGTERM
吗?我有一个重新安排自己的任务,但我想避免在有等待关闭的情况下重新安排自己,以避免延迟热关闭。像这样:
if not self.shutdown_pending():
self.retry(countdown=5, max_retries=3)
实际上,除了重新安排事情之外,我希望能够在收到 SIGTERM
后立即完全退出当前工作,以便我可以尽快重新启动我的工作人员新代码部署:
@app.task(bind=True)
def my_work_task(self):
work = get_work()
for item in work:
if self.shutdown_pending():
logger.info("Shutdown detected. Bailing.")
return
item.process()
我有一项任务需要花费不同的时间(从几秒到几分钟不等)。我正在使用一个分钟的 celery-beat 时间表来最初调用任务,但是如果我只需要少量的工作,比如说,十秒就可以完成,那么我想立即重新调用任务次以避免等待 50 秒等待下一个 celery beat 进来,因为新的工作很可能会在这段时间内可用。
所有这些都是为了尽量减少处理我的工作项的延迟。我想避免 worker 坐在那里无所事事的 50 秒时间段,因为在那段时间可能有一些工作可用。请注意,工作根据数据库中项目的“过期”而变得“准备就绪”,这就是为什么我使用 celery beat 只是在它们可用时清理它们而不是直接触发任务。
我的任务看起来像这样:
@app.task(bind=True)
def my_work_task(self):
work = get_work()
do_some_work(work)
# if this was just a short bit of work reschedule ourselves
# immediately to avoid wasting time waiting for the
# next celery beat.
if len(work) < SMALL_WORK_THRESHOLD:
self.retry(countdown=5, max_retries=3)
这一切都很好,除了一件事:当我重新加载我的工作人员时(通过发送 SIGTERM
),我最终可能会等待一个工作人员重新安排自己,每次可能都有大量的工作。每次调用可能需要几分钟,直到我达到我的 max_retries
值。这使得部署新代码成为一个问题,因为工作处理几乎会停止长达几分钟。
最佳答案
遗憾的是,没有其他类似 question 中提到的简单解决方案.
你唯一能做的就是改变方法或使用 SIGKILL
,在这种情况下,只需确保使用任务结果后端来了解你可能丢失了哪些任务,或者你是否在数据库上保留您可能不需要的状态。
根据我的个人经验,我总是使用 mongodb 来注册任务的星标和结束。这让我可以看到由于机器崩溃而从未完成的任务(我使用的是 CELERY_ACKS_LATE),如果我希望某个任务在整个云上一次只运行一次,还可以执行全局锁定。这样,如果 SIGTERM 在特定时间后不工作,我可以发送 SIGKILL 而不会丢失工作。
希望对你有帮助
关于python - 检查 celery warm shutdown 是否正在进行任务,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37154591/
Task.WaitAll 方法等待所有任务,Task.WaitAny 方法等待一个任务。如何等待任意N个任务? 用例:下载搜索结果页面,每个结果都需要一个单独的任务来下载和处理。如果我使用 WaitA
我正在查看一些像这样的遗留 C# 代码: await Task.Run(() => { _logger.LogException(LogLevel.Error, mes
如何在 Linux 中运行 cron 任务? 关注此Q&A ,我有这个 cron 任务要运行 - 只是将一些信息写入 txt 文件, // /var/www/cron.php $myfile = fo
原谅我的新手问题,但我想按顺序执行三个任务并在剧本中使用两个角色: 任务 角色 任务 角色 任务 这是我到目前为止(任务,角色,任务): --- - name: Task Role Task ho
我有一个依赖于 installDist 的自定义任务 - 不仅用于执行,还依赖于 installDist 输出: project.task('run', type: JavaExec, depends
从使用 Wix 创建的 MSI 运行卸载时,我需要在尝试删除任何文件之前强行终止在后台运行的进程。主要应用程序由一个托盘图标组成,它反射(reflect)了 bg 进程监控本地 Windows 服务的
我想编写 Ant 任务来自动执行启动服务器的任务,然后使用我的应用程序的 URL 打开 Internet Explorer。 显然我必须执行 startServer先任务,然后 startApplic
使用 ASP.NET 4.5,我正在尝试使用新的 async/await 玩具。我有一个 IDataReader 实现类,它包装了一个特定于供应商的阅读器(如 SqlDatareader)。我有一个简
使用命令 gradle tasks可以得到一份所有可用任务的报告。有什么方法可以向此命令添加参数并按任务组过滤任务。 我想发出类似 gradle tasks group:Demo 的命令筛选所有任务并
除了sshexec,还有什么办法吗?任务要做到这一点?我知道您可以使用 scp 复制文件任务。但是,我需要执行其他操作,例如检查是否存在某些文件夹,然后将其删除。我想使用类似 condition 的东
假设我有字符串 - "D:\ApEx_Schema\Functions\new.sql@@\main\ONEVIEW_Integration\3" 我需要将以下内容提取到 diff 变量中 - 文档名
我需要编写一个 ant 任务来确定某个文件是否是只读的,如果是,则失败。我想避免使用自定义选择器来为我们的构建系统的性质做这件事。任何人都有任何想法如何去做?我正在使用 ant 1.8 + ant-c
这是一个相当普遍的计算机科学问题,并不特定于任何操作系统或框架。 因此,我对与在线程池上切换任务相关的开销感到有些困惑。在许多情况下,给每个作业分配自己的特定线程是没有意义的(我们不想创建太多硬件线程
我正在使用以下 Ansible playbook 一次性关闭远程 Ubuntu 主机列表: - hosts: my_hosts become: yes remote_user: my_user
如何更改 Ant 中的当前工作目录? Ant documentation没有 任务,在我看来,最好的做法是不要更改当前工作目录。 但让我们假设我们仍然想这样做——你会如何做到这一点?谢谢! 最佳答案
是否可以运行 cronjob每三天一次?或者也许每月 10 次。 最佳答案 每三天运行一次 - 或更短时间在月底运行一次。 (如果上个月有 31 天,它将连续运行 2 天。) 0 0 */3 * *
如何在 Gradle 任务中执行托管在存储库中的工具? 在我的具体情况下,我正在使用 Gradle 构建一个 Android 应用程序。我添加了一项任务,将一些 protobuf 数据从文本编码为二进
我的项目有下一个结构: Root |- A |- C (depends on A) \- B (depends on A) 对于所有子项目,我们使用自己的插件生成资源:https://githu
我设置了一个具有4个节点的Hadoop群集,其中一个充当HDFS的NameNode以及Yarn主节点。该节点也是最强大的。 现在,我分发了2个文本文件,一个在node01(名称节点)上,一个在node
在 TFS 2010 中为多个用户存储任务的最佳方式是什么?我只能为一项任务分配一个。 (例如:当我计划向所有开发人员演示时) (这是一个 Scrum Msf 敏捷项目,其中任务是用户故事的一部分)
我是一名优秀的程序员,十分优秀!