hadoop - 如何避免在节点上填满hadoop日志？

Question

当我们的层叠作业遇到数据错误时，它们会引发各种异常……这些最终会出现在日志中，如果日志被填满，集群就会停止工作。我们是否有任何配置文件需要编辑/配置以避免此类情况？

我们正在使用MapR 3.1.0，我们正在寻找一种方法来限制日志的使用(syslogs / userlogs)，而无需使用集中式日志记录，也无需调整日志记录级别，并且我们对它是否保留前N个字节不那么在意，否则将保留日志和不一致的最后N个字节。

我们并不真正在乎日志，我们只需要前几个(或最后一个)Meg来找出问题所在。我们不希望使用集中式日志记录，因为我们真的不想保留日志，也不必在意复制日志的开销。另外，如果我错了，请纠正我:user_log.retain-size，在使用JVM重用时出现问题。

任何线索/答案将不胜感激!

谢谢，

斯里尼瓦斯

Answer 1

这可能应该在另一个StackExchange站点中，因为它更多的是DevOps问题，而不是编程问题。

无论如何，您需要的是DevOps，以根据需要设置logrotate并对其进行配置。或编辑群集上的log4j xml文件以更改完成日志记录的方式。