linux - 由于 nutch linux 实例的 tmp 目录中的作业缓存，磁盘空间被填满

Question

我是新手。我们已经设置了 solr 环境，我们发现我们正面临一个问题。磁盘空间已被 100% 使用。当我们调试它时，我们看到以下位置的作业缓存正在使用更多空间(大约 70%)。

“/tmp/hadoop-root/mapred/local/taskTracker/root/jobcache/”。

我搜索了很多论坛以了解这个 jobcache 文件夹到底包含什么。

任何人都可以帮助我了解此 jobcache 文件夹包含什么以及如何限制此 tmp 文件夹不使用空间。

如果我删除jobcache文件夹并使用mkdir命令重新创建它会有什么影响？

提前致谢。

Answer 1

您提到的目录名称是/tmp/hadoop-root/mapred/local/taskTracker/root/jobcache/。当任务执行时，TaskTracker(从属)守护进程使用此目录来本地化作业文件在奴隶上运行。当作业完成时，jobCache 下的目录必须自动清理。此邮件链http://mail-archives.apache.org/mod_mbox/hadoop-user/201301.mbox/%3C26850_1357828735_0MGE0023YZCTOO30_99DD75DC8938B743BBBC2CA54F7224A706D2E1AF@NYSGMBXB06.a.wcmc-ad.net%3E讨论了类似的问题。