hadoop - 除了 hadoop 集群中设置的时间之外，如何为长时间运行的应用程序更新委托(delegate) token

Question

我有一个在我的 Hadoop 环境中运行的 Apache Apex 应用程序。

我对应用程序没有任何问题，只是它在 7 天后失败了。而且，我意识到这是因为任何应用程序的集群级别设置。

有什么办法，我可以每隔一段时间定期更新委托(delegate) token ，以确保作业连续运行而不会失败!!

我可以在网上找到任何关于如何更新 hdfs 委托(delegate) token 的资源!!有人可以分享您的知识吗？

Answer 1

Apex documentation 中提到了这个问题.它还详细提供了 2 个解决方案。 Hadoop 系统的非侵入式将选择“自动刷新方法”。基本上你需要将你的 keytab 文件复制到 HDFS 并配置

<property>
    <name>dt.authentication.store.keytab</name>
    <value>hdfs-path-to-keytab-file</value>
</property>

在您的 dt-site.xml 中。

HTH