gpt4 book ai didi

mysql - Airflow 创建过多连接并导致 MySQL RDS 服务器崩溃

转载 作者:行者123 更新时间:2023-11-29 02:13:03 33 4
gpt4 key购买 nike

我正在使用 Airflow 连接从 RDS SQL 实例中提取和处理数据。问题是该进程正在生成超过 21 个连接(尽管我的并发性在 cfg 文件中设置为 4)并且 RAM 重载。根据我设置流程的方式,我不希望一次有超过 6 - 8 个连接。是否有一个好的 cfg 文件设置或管理面板选项可以让我控制这种行为?我已尝试更新 sql_alchemy_pool_recycle 但这并没有解决问题。

enter image description here

随着连接数量的增加和 RDS 实例上的 RAM 饱和,您可以在甘特图上看到系统性能从哪里开始下降:

enter image description here

最佳答案

在 Airflow 中,您可以通过 POOL 限制大量并发,您可以设置池大小,运算符(operator)不会超出池大小。 https://airflow.incubator.apache.org/concepts.html#pools

关于mysql - Airflow 创建过多连接并导致 MySQL RDS 服务器崩溃,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46716976/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com