gpt4 book ai didi

hadoop - 为 Kerberos 身份验证配置 Kafka Connect HDFSinkNode

转载 作者:行者123 更新时间:2023-12-02 20:25:40 26 4
gpt4 key购买 nike

https://docs.confluent.io/current/connect/kafka-connect-hdfs/index.html列出了以下示例属性:

hdfs.authentication.kerberos=true
connect.hdfs.principal=connect-hdfs/_HOST@YOUR-REALM.COM
connect.hdfs.keytab=path to the connector keytab
hdfs.namenode.principal=namenode principal

可悲的是, https://docs.confluent.io/current/connect/kafka-connect-hdfs/configuration_options.html 上的配置选项的文档简短到几乎没用的地步。

作为 Hadoop 的消费者而不是管理员,我对它的配置方式有一个非常模糊的理解。

谁能解释一下 connect.hdfs.principalhdfs.namenode.principal是给?

最佳答案

主体就像 Kerberos 中的用户名。如果您是 Hadoop 的使用者,并且您需要在处理任何数据之前启动您的 keytab,那么您已经被分配了一个主体。 Connect 服务应该有自己的 keytab 和主体,这是列出的第一个属性

您必须找到为 Hadoop 集群设置 Kerberos 的人员(即管理员)才能了解 Namenode 主体是什么,但简短的回答是这些设置是用于向 HDFS 发出写入请求的身份验证。虽然我不确定您为什么明确需要 Namenode 主体,但 Connect(作为 Hadoop 客户端)联系 namenode 以写入数据,因此可能会在内部进行一些验证

关于hadoop - 为 Kerberos 身份验证配置 Kafka Connect HDFSinkNode,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57043823/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com