gpt4 book ai didi

apache-spark - 在 Spark ,"INFO metrics.MetricsSaver: Saved 10:24 records to ...."

转载 作者:行者123 更新时间:2023-12-04 20:01:44 27 4
gpt4 key购买 nike

我在亚马逊 EMR(6 节点集群)上使用 spark 和 spark sql 在 amazon sc3 中处理 500M 文本文件(.gz)。我的程序不断打印“INFO metrics.MetricsSaver: Saved 10:24 records to/mnt/var/em/raw/i-d1bfb6dd_20150301_SparkSubmit_05013_raw.bin”几个小时。

我的问题是:

  • 日志的含义是什么?
  • 我该如何解决这个问题?

  • 提前致谢。

    最佳答案

    正如肖恩所说,这只是指标,无需担心。即使您没有积极做任何事情,它也会定期记录此类消息。

    要取消这些消息,您可以更新 /home/hadoop/spark/conf/log4j.properties 中的以下行.

    更改 log4j.logger.amazon.emr.metrics=INFOlog4j.logger.amazon.emr.metrics=WARN .

    关于apache-spark - 在 Spark ,"INFO metrics.MetricsSaver: Saved 10:24 records to ....",我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28790307/

    27 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com