apache-spark - 通过 intellij 在我的本地机器上启动时如何存储 spark 的日志输出？

Question

我正在开发一个基于 scala-spark 的软件，我需要先在我的本地机器上测试它。每当我启动我的类(class)时，我都会通过 Intellij IDEA 获得一个输出，我想存储它，因为 Intellij 无法显示完整的日志，它只显示“几行”。

提前致谢。

Answer 1

Spark 使用 log4j 进行日志记录。默认配置记录到控制台。您需要将不同的 log4j.properties 文件传递​​给它，方法是更改​​ conf 文件夹中的现有文件，或者通过选项 -Dlog4j.configuration=file 传递一个不同的文件:/path/to/log4j.properties.

您也可以increase IntelliJ's console output buffer所以它不会截断。