apache-spark - 垃圾收集时间是apache spark中任务执行时间的一部分吗？

Question

我是 apache spark 的初学者，遇到了 apache spark webUI 中任务的垃圾收集时间。任务的执行时间是否包括任务垃圾回收时间？

Answer 1

答案是肯定的，垃圾收集器的 Spark UI 中显示的执行是总执行时间的一部分。如果您的 GC 花费的时间比实际执行的时间多，最好检查一下您在做什么。

如果您在 GC 方面遇到任何问题，有很多解决方案可以改善 Spark 的内存使用或 GC 管理。

根据 Databricks 博客，GC 执行时间是任何使用 GB 内存执行任务的大公司的递归问题:

For example, garbage collection takes a long time, causing program to experience long delays, or even crash in severe cases.

可以查看全文 here .

您可以看到的其他事情是如何改进或调整您的 Spark 应用程序以避免执行的 GC 时间，或 GC 开销限制，甚至是执行期间的 OOM 错误。

请查收 this文档的一部分。