etl - Apache ·尼菲vs Apache ·艾弗洛vs Apache ·猎鹰？在以下情况下哪个最合适？

Question

Closed. This question does not meet Stack Overflow guidelines。它当前不接受答案。












想要改善这个问题吗？更新问题，以便将其作为 on-topic用于堆栈溢出。

1年前关闭。



Improve this question




我正在开发Java解决方案，该解决方案通过属于不同供应商的REST API与一组设备进行通信。因此，对于每个供应商而言，我必须在解决方案内部执行一组流程。但是，这些过程将根据每个供应商进行更改。以下是需要执行的高级过程。

Retrieve an XML file from a folder

Process the XML file

Perform some image processing

Schedule a job and execute it on the scheduled time

Storing data on a MySQL DB and perform some REST calls to outside APIs

因此，对于一个供应商来说，可能具有上述所有过程。但另一方面，可能没有某些处理(例如:图像处理)。从选定的解决方案中应该可以获得以下内容。

I should be able to create custom workflows for new vendors

Need to identify any failures that have been occurred within the workflow and perform retry mechanisms.

Should be able to execute some functions parallelly (Eg: Image processing)

Scalable

Opensource

因此，我被告知要研究Nifi/Airflow/Falcon等工作流管理器。我对它们进行了一些研究，但无法最终确定最合适的解决方案。

注意:无需使用Hadoop或任何其他集群，并且数据流频率不那么高

目前，我正在考虑使用Nifi。但是任何人都可以对此发表您的意见吗？什么是我的用例的最佳解决方案？

最佳答案

与Apache Airflow或Apache Oozie一样，Apache NiFi不是工作流管理器。它是一个数据流工具-它路由和转换数据。它不是用来计划作业的，而是允许您从多个位置收集数据，定义离散的步骤来处理该数据并将该数据路由到不同的目的地。

Apache Falcon再次与众不同，它使您可以更轻松地定义和管理HDFS数据集。它是HDFS群集中的有效数据管理。

根据您的描述，NiFi将对您的要求有所帮助。它将能够收集您的XML文件，以某种方式进行处理，将数据存储在MySQL中，并执行REST调用。新供应商也可以轻松配置它，并很好地容忍故障。它可以并行执行大多数功能，并且可以扩展为具有多台主机的群集NiFi。在设计时考虑了性能和可靠性。

我不确定的是执行图像处理的能力。有一些处理器(提取图像元数据，调整图像大小)，但是否则您将需要使用Java开发新的处理器-这相对容易。或者，如果图像处理使用Python或其他脚本语言，则可以使用ExecuteScript处理器之一。

不建议使用NiFi“安排作业”。

全面披露:我是Apache NiFi的贡献者。

关于etl - Apache ·尼菲vs Apache ·艾弗洛vs Apache ·猎鹰？在以下情况下哪个最合适？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/53256948/

上一篇：javascript - 在 JavaScript 中每 x 秒更改一次文档标题

下一篇：gcc - 我可以使用哪些行军/音乐选择？

相关文章：

python - 为 Apache airflow 配置日志记录保留策略

airflow - 使用真实脚本实现 Airflow

elasticsearch - 使用NiFi仅消耗新的ElasticSearch文档

apache-nifi - NIFI - 从开发到测试到生产

mongodb - 如何在 Nifi getMongo 查询字段中获取 ISO 字符串

java - 在(nifi ecmascript 处理器)groovy 中导入 GregorianCalendar

python - 如何在 Airflow 中使用 PythonVirtualenvOperator？

sql-server - 要求使用 excel 报告中的列数识别报告

sql-server - 如何在 SSIS 中使用 Sharepoint REST API

sql-server - 同时执行的 SSIS 2008 任务

Answer 1

与Apache Airflow或Apache Oozie一样，Apache NiFi不是工作流管理器。它是一个数据流工具-它路由和转换数据。它不是用来计划作业的，而是允许您从多个位置收集数据，定义离散的步骤来处理该数据并将该数据路由到不同的目的地。

Apache Falcon再次与众不同，它使您可以更轻松地定义和管理HDFS数据集。它是HDFS群集中的有效数据管理。

根据您的描述，NiFi将对您的要求有所帮助。它将能够收集您的XML文件，以某种方式进行处理，将数据存储在MySQL中，并执行REST调用。新供应商也可以轻松配置它，并很好地容忍故障。它可以并行执行大多数功能，并且可以扩展为具有多台主机的群集NiFi。在设计时考虑了性能和可靠性。

我不确定的是执行图像处理的能力。有一些处理器(提取图像元数据，调整图像大小)，但是否则您将需要使用Java开发新的处理器-这相对容易。或者，如果图像处理使用Python或其他脚本语言，则可以使用ExecuteScript处理器之一。

不建议使用NiFi“安排作业”。

全面披露:我是Apache NiFi的贡献者。