apache-spark - Kryo序列化器如何在Spark中分配缓冲区

Question

请帮助了解Kryo串行器如何为其缓冲区分配内存。

当我的Spark应用程序尝试从工作人员向驱动程序收集大约122Mb的数据时，在收集步骤失败。

com.esotericsoftware.kryo.KryoException: Buffer overflow. Available: 0, required: 57197
    at com.esotericsoftware.kryo.io.Output.require(Output.java:138)
    at com.esotericsoftware.kryo.io.Output.writeBytes(Output.java:220)
    at com.esotericsoftware.kryo.io.Output.writeBytes(Output.java:206)
    at com.esotericsoftware.kryo.serializers.DefaultArraySerializers$ByteArraySerializer.write(DefaultArraySerializers.java:29)
    at com.esotericsoftware.kryo.serializers.DefaultArraySerializers$ByteArraySerializer.write(DefaultArraySerializers.java:18)
    at com.esotericsoftware.kryo.Kryo.writeObjectOrNull(Kryo.java:549)
    at com.esotericsoftware.kryo.serializers.DefaultArraySerializers$ObjectArraySerializer.write(DefaultArraySerializers.java:312)
    at com.esotericsoftware.kryo.serializers.DefaultArraySerializers$ObjectArraySerializer.write(DefaultArraySerializers.java:293)
    at com.esotericsoftware.kryo.Kryo.writeClassAndObject(Kryo.java:568)
    at org.apache.spark.serializer.KryoSerializerInstance.serialize(KryoSerializer.scala:161)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:213)

当我将驱动程序内存增加到3Gb，将执行程序内存增加到4Gb，并且为kryoserializer增加了缓冲区大小后，就会显示此异常（我使用的是Spark 1.3）

conf.set('spark.kryoserializer.buffer.mb', '256')
conf.set('spark.kryoserializer.buffer.max', '512')

我认为我已经设置了足够大的缓冲区，但是我的spark应用程序一直崩溃。
如何检查执行程序上使用Kryo缓冲区的对象？
有办法清理吗？

Answer 1

就我而言，问题是最大缓冲区大小使用了错误的属性名称。

Up to Spark version 1.3属性名称为spark.kryoserializer.buffer.max.mb-它的末尾有“ .mb”。但是我使用了Spark 1.4 docs-spark.kryoserializer.buffer.max的属性名称。

结果，spark应用程序使用的是默认值-64mb。而且这还不足以处理我正在处理的数据量。

将属性名称固定为spark.kryoserializer.buffer.max.mb后，我的应用程序运行正常。