json - Go JSON 解码很慢。什么是更好的方法呢？

Question

我正在使用 Go、Revel WAF 和 Redis。

我必须在 Redis 中存储大量的 json 数据(可能是 20MB)。

json.Unmarshal() 大约需要 5 秒。什么是更好的方法？

我尝试了 JsonLib、encode/json、ffjson、megajson，但它们都不够快。

想过用groupcache，但是Json是实时更新的。

这是示例代码:

package main

import (
 "github.com/garyburd/redigo/redis"
  json "github.com/pquerna/ffjson/ffjson"
)

func main() {
  c, err := redis.Dial("tcp", ":6379")
  defer c.Close()
  pointTable, err := redis.String(c.Do("GET", "data"))
  var hashPoint map[string][]float64
  json.Unmarshal([]byte(pointTable), &hashPoint) //Problem!!!
}

Answer 1

解析大型 JSON 数据似乎确实比应有的速度慢。查明原因并向 Go 作者提交补丁是值得的。

与此同时，如果你能避免 JSON 而使用二进制格式，你不仅会避免这个问题；您还将获得您的代码现在花费的时间将数字的 ASCII 十进制表示解析为它们的二进制 IEEE 754 等价物(并可能在这样做时引入舍入错误。)

如果您的发送方和接收方都是用 Go 编写的，我建议使用 Go 的二进制格式:gob .

做一个快速测试，生成一个包含 2000 个条目的映射，每个条目包含 1050 个简单的 float ，给我 20 MB 的 JSON，在我的机器上解析需要 1.16 秒。

对于这些快速基准测试，我采用了三个运行中最好的一个，但我确保只测量实际解析时间，在 Unmarshal 调用和打印之前使用 t0 := time.Now() time.Now().Sub(t0) 之后。

使用 GOB，相同的 map 产生 18 MB 的数据，需要 115 毫秒来解析:
十分之一的时间。

您的结果会有所不同，具体取决于您那里有多少实际花车。如果您的 float 有很多有效数字，值得使用 float64 表示，那么 20 MB 的 JSON 将包含比我的 200 万个 float 少得多的数字。在这种情况下，JSON 和 GOB 之间的区别将更加明显。

顺便说一句，这证明问题确实出在 JSON 解析器上，而不是在要解析的数据量上，也不在要创建的内存结构上(因为两个测试都在解析大约 20 MB 的数据并重新创建相同的数据片段) float 。)用 JSON 中的字符串替换所有 float 给我 1.02 秒的解析时间，确认从字符串表示形式到二进制 float 的转换确实需要一定的时间(与仅仅移动字节相比)但不是主要的罪魁祸首.

如果发送者和解析器不都是 Go，或者如果你想比 GOB 更进一步地压缩性能，你应该使用你自己定制的二进制格式，使用 Protocol Buffers 或手动使用“encoding/binary”和 friend .