hadoop - 本地缓存后映射减少占用空间的作业

Question

我正在使用 Hortonworks 环境进行大数据处理。

我观察到，作为来自 Hive/Oozie/Pig 等的 Map Reduce 作业的一部分，我下面的本地缓存目录正在被填满。它为每个使用 jar 文件的 map reduce 执行创建一个文件夹。

/hadoop/yarn/local/usercache/root/filecache

直接删除这些文件夹可以吗？有没有我可以设置为自动删除它的配置？

Answer 1

这些目录应该每 600000 毫秒(10 分钟)自动清理一次。

或者您可以通过在 yarn-site.xml 中设置此属性来缩短此时间段，yarn.nodemanager.localizer.cache.cleanup.interval-ms。

您还可以更改此缓存目录应占用的最大大小，yarn.nodemanager.localizer.cache.target-size-mb。默认目标大小为 10240MB。

如果没有作业在运行，手动删除缓存就可以了。删除缓存后重启nodemanager。