gpt4 book ai didi

java - Hadoop Writable和java.io.serialization有什么联系和区别?

转载 作者:可可西里 更新时间:2023-11-01 14:17:37 28 4
gpt4 key购买 nike

为了实现Writable接口(interface),对象可以在Hadoop中序列化。那么HadoopWritablejava.io.serialization有什么联系和区别呢?

最佳答案

底层存储差异:

Java 可序列化

Serializable 不假定存储值的类是已知的,并使用其类标记实例,即。它写入有关对象的元数据,其中包括类名、字段名和类型及其父类(super class)。 ObjectOutputStream 和 ObjectInputStream 对此进行了一些优化,以便在第一个之后为类的实例写入 5 个字节的句柄。但是带有句柄的对象序列不能被随机访问,因为它们依赖于流状态。这使排序等事情变得复杂。

Hadoop 可写

在定义“可写”时,您知道预期的类。所以 Writables 不会将它们的类型存储在序列化表示中,因为在反序列化时,你知道期望的是什么。例如。如果输入键是一个 LongWritable,那么一个空的 LongWritable 实例被要求从输入数据流中填充它自己。由于不需要存储元信息(类名、字段、它们的类型、父类(super class)),因此二进制文件更加紧凑,随机访问更直接,性能更高。


一些不错的读物:

对于 Java 可序列化:

Hadoop 可写

关于java - Hadoop Writable和java.io.serialization有什么联系和区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16836607/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com