gpt4 book ai didi

Avro 与 Protobuf 的性能指标

转载 作者:行者123 更新时间:2023-12-04 02:36:46 26 4
gpt4 key购买 nike

我们正在使用 kafka 来存储消息并推送大量消息(一分钟内超过 30k)。我不确定它是否相关,但作为 kafka 消息的生产者的代码在 jruby 中。

消息的序列化和反序列化也会对系统性能产生影响。

有人可以帮助在序列化和反序列化速度方面比较 Avro 与 Protocol Buffer。

最佳答案

我不想告诉你这个,但你的问题没有简单的答案。

序列化格式的性能取决于许多因素。首先,性能是实现的属性,而不是格式本身。您真正想知道的是每种格式的特定 JRuby 实现(或者 Java 实现,如果您只是包装它们)的性能如何。答案可能与其他语言(如 C++)的答案大不相同。

此外,性能会因您使用库的方式而异。许多图书馆的 API 提供了“简单、缓慢”方式和“快速、困难”方式之间的权衡。优化时,您需要仔细研究文档并查找库作者的示例代码,以了解如何最大限度地发挥性能。

最后——也是最重要的——根据您使用的数据,性能会有很大的不同。不同的格式和实现针对不同类型的数据进行优化。例如,字符串密集型数据将使用与数字密集型数据截然不同的代码路径。对于每一种格式——甚至是 JSON 和 XML*——总是可以找到一个用例,它们的性能优于其他所有用例。警惕来自库作者的基准,因为它们往往会强调对他们有利的用例。

不幸的是,如果您真的想知道哪种格式更适合您,那么您要找出的唯一方法是编写两个版本的代码,一个使用每个库,然后比较它们。没有任何外部基准能够为您提供真正的答案。

(我是 Protobuf v2 和 Cap'n Proto 的作者,所以我花了很多时间查看序列化基准并考虑性能。)

* 开玩笑的 XML。

关于Avro 与 Protobuf 的性能指标,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38174180/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com