gpt4 book ai didi

apache-spark - 如何在 Spark 代码中设置 Kryo 的不可修改集合序列化器

转载 作者:行者123 更新时间:2023-12-05 00:49:47 24 4
gpt4 key购买 nike

我在 Java 中的 Spark (v1.6.1) 中使用 Kryo 序列化,并且在序列化其字段中有集合的类时,它引发以下错误 -

Caused by: java.lang.UnsupportedOperationException
at java.util.Collections$UnmodifiableCollection.add(Collections.java:1055)
at com.esotericsoftware.kryo.serializers.CollectionSerializer.read(CollectionSerializer.java:102)
at com.esotericsoftware.kryo.serializers.CollectionSerializer.read(CollectionSerializer.java:18)
at com.esotericsoftware.kryo.Kryo.readObject(Kryo.java:648)
at com.esotericsoftware.kryo.serializers.FieldSerializer$ObjectField.read(FieldSerializer.java:605)
... 27 more

我发现这是因为 Kryo 的默认 CollectionSerializer 无法反序列化集合,因为它不可修改,我们应该改用 UnmodifiableCollectionsSerializer。

我如何在 spark 代码中特别提到将 UnmodifiableCollectionsSerializer 用于 Kryo?

我目前的配置是 -
SparkConf conf = new SparkConf().setAppName("ABC");
conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
conf.registerKryoClasses(new Class<?>[] {*list of classes I want to register*});

最佳答案

如果其他人遇到这个问题,这里是解决方案 - 我使用 javakaffee kryo 序列化程序让它工作。

添加以下 maven 依赖项:

<dependency>
<groupId>de.javakaffee</groupId>
<artifactId>kryo-serializers</artifactId>
<version>0.42</version>
</dependency>

编写自定义 kryo 注册器来注册 UnmodifiableCollectionsSerializer
    public class CustomKryoRegistrator implements KryoRegistrator {
@Override
public void registerClasses(Kryo kryo) {
UnmodifiableCollectionsSerializer.registerSerializers(kryo);
}
}

将 spark.kryo.registrator 设置为自定义注册器的完全限定名称
conf.set("spark.kryo.registrator", "com.abc.CustomKryoRegistrator");

引用 -

https://github.com/magro/kryo-serializers

Spark Kryo: Register a custom serializer

关于apache-spark - 如何在 Spark 代码中设置 Kryo 的不可修改集合序列化器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46818293/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com