apache-camel - Apache Camel 和 Apache Airflow 有重叠吗？它们如何比较？

Question

我们目前正在使用 Apache-Camel对于 ETL ，也就是说，我们每天/每周/每月从各种数据库中导出数据，执行所需的操作，然后将结果发布到某个地方以供其他数据库摄取。

最近我在 Apache-Airflow 上看到一个演讲，在我看来，它可以完成 Camel 正在做的工作，只是更容易。更简单的意思是它看起来更像是 self 记录的，因此更容易维护。我对么？为什么两者之间没有比较，就像 Camel and Mule 之间有比较？ ？

Answer 1

Apache Camel 和 Apache Airflow 是为不同的目的而编写的。前者作为企业集成框架，后者作为以编程方式创作、安排和监控工作流的平台，这就是为什么它们通常不会被并排比较的原因。

Apache Camel 可以用于 ETL:将 ETL 视为集成操作数据库和数据仓库的过程，并将 ETL 数据处理过程中的每个步骤视为一条消息。

如果我们改用 Airflow，执行我们现在正在做的任务会不会更容易？好吧，一般而言，框架是否适合特定公司的需求取决于现场的设置方式。在我们的例子中，我们选择了 Java，我们希望我们的进程在 Windows 机器和 Linux 机器上运行。然后比较变成:

• Camel 的主要优点是我们已经在使用它，它是 Java，甚至还有一个 Spring 引导自动配置。主要缺点是难以维护:很难理解究竟发生了什么、什么时候发生、为什么发生。这不是由 Camel 作为企业集成框架所具有的特性直接导致的，而是因为它不是为简化工作流程而量身定制的。
• Airflow 是专门为调度相互依赖的作业而编写的，它甚至有一个 GUI 来简化这项任务。对我们来说，它需要额外的安装，并且它可能无法与我们开箱即用的 Java 作业一起使用(我知道可以从 python call java，但这只会增加更多的复杂性)。

根据我的需要，我将探索其他选择，也许只是让事情保持原样。