apache-spark - 如何为 Spark 应用程序读取和写入 HDFS 字节？

Question

我想为 spark 应用程序收集不同的指标，如果有人知道我如何读取和写入 HDFS 字节，请告诉我？

Answer 1

我正在寻找相同的信息，但我无法在任何地方找到信息:Spark 文档或 Spark 用户邮件列表(即使有些人是 asking the question)都没有给我信息。

但是，我找到了some clues互联网上的指标表明它是由 Spark 提供的。

我正在处理一些应用程序日志(由历史服务器提供的日志)，似乎 Input Metrics 和 Output Metrics 出现在每个 SparkListenerTaskEnd 事件中的 Task Metrics 给出每个任务读取和写入的数据量。

{
  "Event": "SparkListenerTaskEnd",
  ...
  "Task Metrics": {
      ...
      "Input Metrics": {
        "Bytes Read": 268566528,
        "Records Read": 2796202
      },
      "Output Metrics": {
        "Bytes Written": 0,
        "Records Written": 0
      },
      ...
  },
  ...
}

请注意，我不是 100% 确定这一点，但我得到的日志似乎与这个假设一致:)

此外，如果您从本地文件系统读取，我认为这将混合在同一个指标中。