python:如何使用 ijson 库解析 json 数组流

Question

传入的数据类似于以下内容:

[{
    "foo": "bar"
}]
[{
    "bar": "baz"
}]
[{
    "baz": "foo"
}]

如您所见，对象数组串在一起。 JSON-ish

ijson 能够处理第一个数组，然后我得到:

ijson.common.JSONError: Additional data

当它命中后续数组时。我该如何解决这个问题？

Answer 1

这是解决问题的第一步，至少有一个有效的正则表达式替换可以将完整的字符串转换为有效的 json。仅当您可以在解析为 json 之前读取完整的输入流时，它才有效。

import re

input = ''
for line in inputStream:
  input = input + line    
# input == '[{"foo": "bar"}][{"bar": "baz"}][{"baz": "foo"}]'

# wrap in [] and put commas between each ][
sanitizedInput = re.sub(r"\]\[", "],[", "[%s]" % input)
# sanitizedInput == '[[{"foo": "bar"}],[{"bar": "baz"}],[{"baz": "foo"}]]'

# then parse sanitizedInput
parsed = json.loads(sanitizedInput)
print parsed #=> [[{u'foo': u'bar'}], [{u'bar': u'baz'}], [{u'baz': u'foo'}]]

注意:由于您将整个内容作为字符串读取，因此可以使用 json 而不是 ijson