apache-spark - java序列化与kryo序列化的优缺点是什么？

Question

在 spark 中，java 序列化是默认的，如果 kryo 这么高效，那么为什么不将其设置为默认值。使用 kryo 是否有一些缺点，或者在什么情况下我们应该使用 kryo 或 java 序列化？

Answer 1

这是 documentation 的评论:

Kryo is significantly faster and more compact than Java serialization (often as much as 10x), but does not support all Serializable types and requires you to register the classes you’ll use in the program in advance for best performance.

所以默认情况下不使用它，因为:

并非所有 java.io.Serializable 都支持开箱即用 - 如果您有扩展 Serializable 的自定义类，它仍然无法使用 Kryo 进行序列化，除非已注册。

需要注册自定义类。

注意根据 documentation :

Spark automatically includes Kryo serializers for the many commonly-used core Scala classes covered in the AllScalaRegistrar from the Twitter chill library.