gpt4 book ai didi

hadoop - Spark Streaming检查点到远程HDFS

转载 作者:行者123 更新时间:2023-12-02 21:26:07 25 4
gpt4 key购买 nike

我正在尝试将我的 Spark 流上下文检查点指向hdfs,以处理我的应用程序某处的故障。我将HDFS设置在单独的群集上,并在单独的独立服务器上运行spark。为此,我正在使用:

ssc.checkpoint(directory: String)

这给了我:尝试将目录作为 org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE时的 "hdfs://hostname:port/pathToFolder"
如何检查指向远程hdfs路径?是否可以将凭据添加到字符串uri?我尝试了谷歌搜索,但到目前为止没有帮助。

感谢并感谢您的帮助!

最佳答案

您可以使用以下方式提供凭据:

hdfs://username:password@hostname:port/pathToFolder

关于hadoop - Spark Streaming检查点到远程HDFS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35892894/

25 4 0