hadoop - HDFS委派 token 错误

Question

我正在尝试从像Hadoop，Spark，falcon的hive服务用户运行作业，但是当我从这些用户执行命令时，会抛出错误:

该用户的HDFS delegation token not found in cache。

示例:我已经使用falcon CLI创建了一个falcon集群实体，但是当我提交我的实体时，它将为Falcon用户抛出相同的错误。

Answer 1

看起来是在Namenode的待机-> Activity 过渡过程中发生的问题。 Namenode尚未完成尾随Editlog的编写，该日志包含有关生成相应 token 的信息，因此无法在其本地缓存中找到该 token 。

一种可能的解决方案是让客户端在这种情况下重试相同的操作。因此，如果Namenode在过渡期间找不到 token ，则可以将InvalidToken异常包装在RetriableException中，并要求客户端重试。