logging - 如何清理/var/log/hadoop-hdfs 下的 hadoop-hdfs 日志-6ren

logging - 如何清理/var/log/hadoop-hdfs 下的 hadoop-hdfs 日志

转载作者：可可西里更新时间：2023-11-01 14:19:22

25

4

我在 hadoop 集群中的名称节点运行状况不佳，因为“该角色的日志目录不是一个可用空间少于 4GB 的文件系统。/var/log/hadoop-hdfs(可用:2.4GB(11.12% ), 容量:21.7 GB"

我查看了该文件夹，发现其中有 5.5GB 的名为“hdfs-audit.log.0”-“hdfs-audit.log.20”的日志文件。我阅读了这些文件，我真的不需要保存这些日志。我想知道有没有办法永久删除它们并且不再生成它们？ (我试图手动删除它们，但似乎几个小时后它们又回来了。)

我还尝试在我的 /etc/hadoop/中添加 "log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=WARN,NullAppender" conf/log4j.properties。但它并没有阻止那些文件“回来”。

提前感谢您的帮助!

最佳答案

首先，Hadoop 的设计容量比您提到的要大得多，这意味着 5.5GB 的日志通常不会那么多。这解释了为什么默认设置不适合您的情况。

您可以:

减少使用变量 navigator.audit_log_max_backup_index 保留的日志文件的数量(通常为 10)
或使用 navigator.audit_log_max_file_size 的最大日志文件大小

关于logging - 如何清理/var/log/hadoop-hdfs 下的 hadoop-hdfs 日志，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/18192443/

25

4

0

文章推荐： c++ - IAT Hook 但未调用 Hook 函数

文章推荐： c# - C# 中 Open/SaveFileDialog 中的应用程序链接项

文章推荐： hadoop - 从 hdfs 与本地目录读取文件

php - 清理/清理 xpath 属性
我需要为元素属性动态构建 XPath 查询，其中属性值由用户提供。我不确定如何清理或清理此值以防止 XPath 等同于 SQL 注入(inject)攻击。例如(在 PHP 中): xpath("//m
PHPMailer 清理
问题很简单:在使用 PHPmailer 类时我应该使用任何类型的清理吗？我制作了使用 phpmailer 类发送电子邮件的简单发送邮件表单。目前我只使用“htmlspecialchars”进行清理(
python - 清理 for 循环中断
你可以在python中创建一个在for循环退出时运行清理代码的迭代吗？就像是: from random import randint class Iterable: def __iter__(
SQLite 清理/碎片和性能下降
假设我定期将数据插入 SQLite 数据库，然后清除前 50% 的数据，但我不清理。我现在是否有类似文件前 50% 的清零页面之类的东西？如果我添加另一批数据，我是否正在填写那些清零的页面？手册中
正则表达式:清理 HTML
我有一堆 HTML 代码，我想在其中删除所有 HTML 标记。我认为 Regex(正则表达式)可以做到这一点。通过搜索和替换，我将如何执行此操作？我尝试了，我认为 * 是通配符，但显然不是。
haskell - FizzBuzz 清理
我仍在学习 Haskell，我想知道是否有一种不太冗长的方法来使用 1 行代码来表达以下语句: map (\x -> (x, (if mod x 3 == 0 then "fizz" else "")
java - 清理/转义进入SSH命令的参数
我需要怎么做才能正确清理/转义程序化SSH命令中输入的参数？例如，路径参数- public boolean exists(String path) { try { Chann
javascript - 清理 Canvas
这个问题已经有答案了: How to clear the canvas for redrawing (25 个回答) 已关闭10 个月前。我目前正在尝试创建一个带有雨滴落下的 Canvas ，我唯一
php - 清理/过滤用户评论的最佳方式？
我目前正在使用此过程来清理/过滤用户输入的评论 -> 这个是用来去掉斜线的……和 if (get_magic_quotes_gpc()) { function stripslashe
plone - 清理 portal_setup
是否可以在 portal_setup 中删除旧的导入配置文件。目前，我的网站上有许多可追溯到 2009 年的条目:: import-all-profile-Products.Archetypes_
angularjs - 清理/销毁指令的正确方法是什么？
假设我有多个指令，包括以下内容: ...template content... ...template content... 你如何销毁指令？通常我会在 jquery 中做一些我 $('#2').re
java - 如何删除java程序生成的临时文件(清理)？
我正在开发一个可移植java应用程序，它可以在用户的PC(Windows XP)上动态生成一些文件。现在，我想要的是在java程序退出后删除这些临时文件。显然，java的文件删除机制是不可信的。即
清理 argv 程序
我有一个 argv c 程序，它反转单词，并查看它是否是回文。我只是想清理输出并让它打印原始输入而不是相反的输入，但由于它是 argv，我似乎不知道该怎么做。 int main(int argc, c
Javascript:清理 Markdown
我的网页上有一篇用 markdown 写的文章，我想在索引页上显示一份简短的简历。问题是正文有markdown，我想在简历上显示纯文本。例如: Article text: Hello people
清理 C 代码中的指针
在下面的代码片段中，可以做些什么来a)让编译器安静，b)清理交叉的指针困惑？ extern struct tree *sintablein[sintablesize]; struct tree *(*
Java WeakHashMap 清理
我试图弄清楚 WeakHashMap 在垃圾收集后如何清理。正如你们中许多人可能知道的那样，当 WeakHashMap 条目的键被垃圾回收时，它会自动删除。但是，例如，如果我做这样的事情: List>
java - 清理、构建和构建之间的区别？
我对构建的理解是，它只编译上次构建中编辑过的Java文件，而干净构建将删除所有类文件并重新编译所有文件。那么，当单独构建就足以满足我提供最新版本的类文件的需要时，干净构建的效用是什么？最佳答案有时
postgresql 复制 + 清理
是否有任何简单的(内置的、附加的、开源的或商业的)在 Postgresql(主从)上进行复制，以便在复制时清理从属内部的数据以符合 PCI 合规性？ ETL工具怎么样？它不一定是瞬时的……最多一个小时
MySQL HTML 清理
我有一个将数据保存到 MySQL 数据库的网站在将 HTML 插入 MySQL 或在我的网站上显示它时，我应该转义 HTML 吗？理想情况下，我想将原始 HTML 输入到我的数据库中，并在每次从中
php - 清理/转义用户输入和输出
我知道我已经asked一个关于 sanitizer 和转义的问题，但我有一个问题没有得到回答。好了，到此为止。如果我有一个 PHP 脚本并且我 GET用户输入和SELECT它来自 mySQL 数据库

首页

博学

6Ren·AI

商城

logging - 如何清理/var/log/hadoop-hdfs 下的 hadoop-hdfs 日志