gpt4 book ai didi

scala - 如何使用 chill-avro 在 Spark 中加载 Avro GenericRecord?

转载 作者:可可西里 更新时间:2023-11-01 14:38:27 25 4
gpt4 key购买 nike

我尝试在 Spark 中使用 Avro GenericRecords,但出现了 java.io.NotSerializableException: org.apache.avro.mapred.AvroWrapper

https://gist.github.com/rjurney/8b90e9b709d061cc0b94

chill 项目添加了对 Scala 的 Kryo/Avro 支持。如何结合 Kryo、Avro、chill 和 Spark 来加载 Avros?

最佳答案

chill-avro 不是用于从 FS 加载数据,而是用于序列化飞行数据。有关详细信息,请参阅下面的链接

https://github.com/twitter/chill/issues/171#issuecomment-45049396

关于scala - 如何使用 chill-avro 在 Spark 中加载 Avro GenericRecord?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24028444/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com