gpt4 book ai didi

algorithm - 这个文本压缩方案的名称是什么?

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:49:36 26 4
gpt4 key购买 nike

几年前我读到过一个非常轻量级的文本压缩算法,但现在我找不到引用资料或记不起它的名字了。

它使用了每对连续字符之间的差异。例如,由于小写字母预测下一个字符也将是小写字母,因此差异往往很小。 (它可能在减法之前丢掉了前一个字符的低位;我不记得了。)立即降低复杂性。而且它是 Unicode 友好的。

当然有一些花里胡哨的东西,以及生成比特流的细节,但它超轻量级,适用于嵌入式系统。无需存储庞大的字典。我很确定我看到的摘要在维基百科上,但我找不到任何东西。

我记得它是谷歌发明的,但不是 Snappy .

最佳答案

我想你在谈论的是 BOCU,Binary-Ordered Compression for Unicode或其前任/继任者之一。特别是,

The basic structure of BOCU is simple. In compressing a sequence of code points, you subtract the last code point from the current code point, producing a signed delta value that can range from -10FFFF to 10FFFF. The delta is then encoded in a series of bytes. Small differences are encoded in a small number of bytes; larger differences are encoded in a successively larger number of bytes.

关于algorithm - 这个文本压缩方案的名称是什么?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22411679/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com