kerberos - Dask hdfs3 在 kerberized 集群上的使用

Question

尝试使用 dask 读取 kerberized HDFS 集群上的 parquet 文件目录，使用以下命令:

import hdfs3

hdfs = hdfs3.HDFileSystem(<NAMENODE_FQDN>, port=8020)

返回错误:

ConnectionError: Connection Failed: SIMPLE authentication is not enabled.  Available:[TOKEN, KERBEROS]

在集群的终端上，我使用了 kinit 并且可以成功执行 hadoop fs 命令。显示的错误来自调用 libhdfs3 的 HDFileSystem 的连接方法，但对我来说，该调用似乎没有尝试使用我的 kerberos 凭据。

是否有我做错的配置步骤或应该更改参数？我已验证我的名称节点和端口是正确的。

Answer 1

我能够使用以下语法连接到 kerberized 集群:

import hdfs3

conf={"hadoop.security.authentication": "kerberos"}
hdfs = hdfs3.HDFileSystem(<NAMENODE_FQDN>, port=8020, pars=conf)