hadoop - 使用Spring Boot在Kerberized kafka集群到hadoop集群之间的数据流

Question

我有一个流式用例来开发一个Spring Boot应用程序，它应该从kafka主题中读取数据并放入hdfs路径，我为kafka和hadoop得到了两个截然不同的集群。
应用程序运行良好，而无需在kafka集群中进行kerberos身份验证，也没有对hadoop进行kerberized。

当两个集群都被kerberized时，问题就开始了。同时，我只能对一个集群进行身份验证。

我进行了很少的分析/搜索，找不到太多帮助，
我的理论是，我们无法在同一jvm实例上登录/认证到两个使用kerberized的集群，因为我们需要在代码中设置REALM和KDC详细信息，这些代码不是特定于客户端的，而是特定于jvm的，

可能发生的情况是我没有使用正确的API，我对Spring Boot还是很陌生。

我知道我们可以通过在群集之间设置跨域信任来做到这一点，但我正在寻找可能的应用程序级别的解决方案。

我有几个问题

是否可以在同一jvm实例上登录/认证两个独立的kerberized集群？请帮助我，首选使用Spring Boot。

从kafka集群到hadoop集群流数据的最佳解决方案是什么。

Answer 1

What would be the best solution to stream data from kafka cluster to hadoop cluster.

Kafka的Connect API仅使用配置文件即可将源和目标与Kafka进行流集成，而无需编码! HDFS connector是您想要的，并且支持Kerberos身份验证。它是开源的，可以使用 standalone或作为 Confluent Platform的一部分。