gpt4 book ai didi

xml - 使用 log4j.xml 配置 Spark 日志记录

转载 作者:行者123 更新时间:2023-12-01 12:56:59 27 4
gpt4 key购买 nike

我猜这是一个愚蠢的问题,但我找不到任何答案。

我可以使用 log4j.xml 在 spark 中配置日志记录吗?

在 Spark 中 documentation它提到您可以使用 log4j.properties 配置日志记录,我希望使用 log4j.xml 来获得更高级的 log4j 功能,例如异步附加程序。我的工作将在 oozie 调度的 yarn (CDH) 上以集群模式运行。我知道在任何解决方案中都不需要使用 --files

最佳答案

您可以设置 spark.executor.extraJavaOptions 以添加 -Dlog4j.configuration=log4j.xml 并将您的 log4j.xml 文件包含在工作程序的类路径中(要么捆绑在应用程序 jar 中,要么添加到包含在 --files 中的文件中。

关于xml - 使用 log4j.xml 配置 Spark 日志记录,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41203431/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com