algorithm - 小数据量压缩算法

Question

我有一个为客户端生成 JSON 的服务器端程序。我的一些同事建议使用 zip/gzip 压缩来减少通过网络发送的数据量。然而，当针对我的一条普通 JSON 消息进行测试时，它们实际上都增加了发送的数据量。直到我发送了一个异常大的响应，压缩功能才开始发挥作用。

所以我开始研究 stackoverflow，最终找到了 LZO ，在测试时，它完全按照我的意愿行事。但是，我似乎找不到算法运行时的文档，而且我还不够好，无法坐下来自己研究代码:)

tl；博士？运行时间 LZO ？

Answer 1

我将忽略你关于 LZO 运行时的问题(答案:几乎肯定足够快)并讨论潜在的问题。

您正在通过网络交换 JSON 数据结构并希望减少带宽。目前您正在考虑通用压缩算法，如 DEFLATE和LZO。但是，任何基于 Lempel-Ziv 的压缩算法技术最适用于大量数据。这些算法由 building up a dictionary 工作经常出现的数据序列，以便它们可以在重复时编码对字典的引用而不是整个序列。字典越大，压缩率越好。对于非常少量的数据，如单个数据包，该技术是无用的:没有时间建立字典，也没有时间出现大量重复。

如果您使用 JSON 对有线协议(protocol)进行编码，那么您的数据包很可能是定型的，具有相似的结构和少量的通用 key 。所以我建议调查谷歌的 Protocol Buffers专为该用例设计。