个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
37
4
我正在使用 Airflow 连接从 RDS SQL 实例中提取和处理数据。问题是该进程正在生成超过 21 个连接(尽管我的并发性在 cfg 文件中设置为 4)并且 RAM 重载。根据我设置流程的方式，我不希望一次有超过 6 - 8 个连接。是否有一个好的 cfg 文件设置或管理面板选项可以让我控制这种行为？我已尝试更新 sql_alchemy_pool_recycle 但这并没有解决问题。
随着连接数量的增加和 RDS 实例上的 RAM 饱和，您可以在甘特图上看到系统性能从哪里开始下降:
最佳答案
在 Airflow 中，您可以通过 POOL 限制大量并发，您可以设置池大小，运算符(operator)不会超出池大小。 https://airflow.incubator.apache.org/concepts.html#pools
关于mysql - Airflow 创建过多连接并导致 MySQL RDS 服务器崩溃，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46716976/
37
4
0
在Airflow中，我一直在使用“airflow run”和“airflow test”，但不完全理解它们有何不同。他们有什么区别？ 最佳答案 我自己通读了文档，发现它是多么令人困惑。 Airflow
我使用 Airflow 已经有一段时间了，它是由一位同事创建的。最近我遇到了一些错误，这需要我更深入地了解如何修复 Airflow 中的某些问题。 我确实理解这三个进程是什么，但我只是不明白运行它们时
AIRFLOW_HOME=/path/to/my/airflow_home 我收到这个警告... >airflow trigger_dag python_dag3 /Users/alexryan/mi
有没有人报告过他们在他们的公司中让 Airflow 扩展了多少？我正在考虑实现 Airflow 来执行 5,000 多个任务，每个任务每小时运行一次，有一天可以将其扩展到 20,000 多个任务。在检
问题 :我想使用 Github 上最新版本的 Apache-Airflow 安装 apache-airflow 以及所有依赖项？ 我怎样才能使用 pip 做到这一点？ 在生产环境中使用它是否安全？ 最
我们在 AWS ECS 上运行 Airflow，并将所有 DAG 捆绑在一个 Docker 镜像中。我们不时更新 DAGS，并部署新版本的 Docker Image。当我们这样做时，ECS 将终止正在
问题很简单。我需要限制 Airflow 网络用户仅查看和执行某些 DAG 和任务。 如果可能，我宁愿不使用 Kerberos也不是 OAuth . Multi-tenancy option 似乎是一个
我们正在使用 Airflow 2.00。我正在尝试实现一个做两件事的 DAG: 通过 API 触发报告 从源到目标下载报告。 任务 1 和任务 2 之间至少需要 2-3 小时的间隔。根据我的研究，我有
对于一项任务，有许多辅助任务 - 从文件/数据库中获取/保存属性、验证、审计。这些辅助方法并不耗时。 一个示例 DAG 流， fetch_data >> actual_processing >> va
有什么方法可以重新加载作业而不必重新启动服务器吗？ 最佳答案 在airflow.cfg中，您具有以下两种配置来控制此行为: # after how much time a new DAGs shoul
我们可以通过将任务/dag 超时设置为 None 并手动触发其运行来使用 Airflow dag 来定义永无止境的作业(即具有无条件循环以消耗流数据的任务)吗？让 Airflow 监测永无止境的任务会
我是 Airflow 的新手，最近开始探索这个工具。我在 18.4 版本的 ubuntu 机器上安装了 1.10.10 版。从设置和安装的角度来看，一切正常，但是我在任何 DAG 中的任务都没有运行，
我主要看到Airflow被用于ETL / Bid数据相关的工作。我正在尝试将其用于业务工作流，其中用户操作将来会触发一组相关任务。其中某些任务可能需要根据某些其他用户操作来清除(删除)。 我认为最好的
我有一个 DAG，只要 FileSensor 检测到文件，它就会使用它，为每个文件生成任务，以 (1) 将文件移动到暂存区域，(2) 触发单独的 DAG 来处理文件。 FileSensor -> Mo
我需要手动或以编程方式执行的管道，可以使用 Airflow 吗？看起来现在每个工作流程都必须与时间表绑定(bind)。 最佳答案 只需在创建 DAG 时将 schedule_interval 设置为
所以这是一个愚蠢的想法...... 我在 Airflow 中创建了(许多)DAG...并且它有效...但是，我想以某种方式将其打包，以便我可以在不安装 Airflow 的情况下运行单个 DAG 运行；
我使用“pip install 'apache-airflow[statsd]' 安装了 airflow[statsd] 并安装了 statsd_exporter。现在我可以看到来自 Promethe
我们正在尝试将 MongoHook 和 GCSToLocalFilesystemOperator 导入到我们的 Airflow 项目中: docs for MongoHook docs for GCS
启动 Airflow 网络服务器时出现以下错误 balajee@Balajees-MacBook-Air.local:~$ Airflow 网络服务器 -p 8080 [2018-12-03 00:2
运行pip install airflow[postgres]命令后出现以下错误: > raise RuntimeError("By default one of Airflow's dependen
我是一名优秀的程序员,十分优秀！