hadoop - 在哪里可以找到有关 Mapreduce 中文件系统计数器的信息

Question

在运行 mapreduce 作业时，我得到如下输出:

 11/09/15 21:35:16 INFO mapreduce.Job: Counters: 24
 File System Counters
 FILE: Number of bytes read=255967
 FILE: Number of bytes written=397273
 FILE: Number of read operations=0
 FILE: Number of large read operations=0
 FILE: Number of write operations=0
 Map-Reduce Framework
 Map input records=5
 Map output records=5
 Map output bytes=45
 .......

在第一行，它显示 Counters: 24。我在哪里可以找到有关这些计数器的更多信息。

我最感兴趣的是large read operations=0，这些是什么？
如果有人对此有任何了解或引用，请回复。

谢谢。

Answer 1

我建议您看看 Tom White's Hadoop book ，尤其是第 8.1 章，他在其中给出了计数器及其含义的详细列表。你可以找一个在线版本here .

对于large read operations，对应的是大目录下的list files等大型文件系统读操作的次数。它是在 HADOOP-6859 中介绍的它被描述为:在文件系统上，除了用于大目录的 listFiles 之外，大多数操作都是小的。 HDFS 中引入了迭代 listFiles 以将单个大型操作分解为更小的步骤。当列出大目录下的文件时，此计数器会随着 listFiles 的每次迭代而递增。

这张票还解释了其他一些新的柜台:

• 读取操作 - 读取操作的数量，例如 listStatus、getFileBlockLocations、打开等。
• 写入操作 - 写入操作的数量，例如创建、附加、setPermission 等。

我建议您查看 FileSystem.Statistics 类，它详细描述了一些额外的文件系统计数器，如 here 所述