gpt4 book ai didi

apache-spark - KryoSerializer 缓冲区溢出

转载 作者:行者123 更新时间:2023-12-02 20:38:49 24 4
gpt4 key购买 nike

我有一些 Spark 作业在 Spark 1.2 中运行良好,但由于 KryoSerializer 缓冲区溢出而无法在 1.3 中运行。我尝试将 spark.kryoserializer.buffer.max 增加到 20GB,将 spark.kryoserializer.buffer 增加到 2GB。但这并没有帮助。我是否使用了 KryoSerializer 错误,或者它还没有准备好迎接黄金时段?

经过试验和错误,Kryoserializer 缓冲区的上限似乎为 2GB。不确定这是设计使然还是什么?

最佳答案

我的观察是正确的:SPARK-6405 :将最大 Kryo 缓冲区大小限制为 2GB。显然 Databrick 的技术布道者不知道这一点,并告诉我增加缓冲区大小。

关于apache-spark - KryoSerializer 缓冲区溢出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31445065/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com