Hadoop分布式缓存错误信息解读

Question

我正在尝试将 3 个文件放入分布式缓存中。

我以编程方式放置其中一个，使用:

  DistributedCache.addLocalFiles(conf, "local/path/to/file");

我还使用 -files 选项放置了另外 2 个文件。

在本地以独立模式运行时，一切正常。

当试图以伪分布式模式运行它时，我得到了这个错误，我不明白它的意思。我用谷歌搜索但没有成功。

  Distributed cache entry arrays have different lengths

有谁知道这意味着什么以及如何解决？

Answer 1

问题源于我正在将本地文件添加到缓存中。

相反，我将这些文件移动到 HDFS，并将 HDFS 版本添加到 DistributedCache。成功了!