hadoop - 在现有Hadoop集群的数据节点上安装NiFi(开源)

Question

如果现有Hadoop群集上有10个数据节点，则可以在4个或6个数据节点上安装NiFi吗？

NiFi的主要目的是每天将数据从RDBMS加载到高容量的HDFS。

数据节点将配置为具有100 GB的高RAM。
将使用外部3节点Zookeeper群集。

此方法是否有主要问题？

仅在的每个数据节点上安装NiFi才10个吗？

拥有10个nifi节点的大型群集是否有任何问题？

一些NiFi配置最佳实践会与Hadoop配置冲突吗？

编辑:当前使用Hortonworks版本2.6.5和开源NiFi 1.9.2

Answer 1

Are there any major concerns with this approach?

Cloudera Data platform与基于Apache NiFi的 Cloudera Dataflow集成在一起，因此集成不必担心。

Does it make more sense to just install NiFi on EVERY datanode, so 10?

取决于您期望的流量，但我会考虑将NiFi作为一项独立服务，例如Kafka，Zookeeper……因此，一个3簇的群集将是一个不错的开始，并且如果需要的话可能会增加。不需要启动所有的DataNode。可以与DataNode共享这些服务，只需确保正确分配资源(核心，内存，存储...)即可-使用Cloudera更容易。

Are there any issues with having a large cluster of 10 nifi nodes?

有关扩展 6) NiFi Clusters Scale Linearly的更多信息。您应该有很多流量才能超过10个节点。

Will some NiFi configuration best practices conflict with Hadoop config?

这取决于您如何配置它。我建议两者都使用Cloudera，这已经过测试，可以一起使用。您可能不会获得最新版本的服务，但是至少您拥有更高的可靠性。