json - 在 Julia 中读取和解析大于 400MB 的 .json 文件而不会导致内核崩溃

Question

以下是我的 Julia 内核崩溃。有没有更好的方法来读取和解析大型(> 400 MB)JSON 文件？

using JSON
data = JSON.parsefile("file.json") 

Answer 1

除非付出一些努力来制作更智能的 JSON 解析器，否则以下方法可能会奏效:很有可能 file.json有很多行。在这种情况下，读取文件并逐行或逐块(对于正确的块长度)解析大的重复 JSON 部分可以解决问题。对此进行编码的一种可能方法是:

using JSON
f = open("file.json","r")

discard_lines = 12      # lines up to repetitive part
important_chunks = 1000 # number of data items
chunk_length = 2        # each data item has a 2-line JSON chunk

for i=1:discard_lines
    l = readline(f)
end
for i=1:important_chunks
    chunk = join([readline(f) for j=1:chunk_length])
    push!(thedata,JSON.parse(chunk))
end
close(f)
# use thedata

这很有可能是您问题的临时权宜之计。检查 file.json找出答案。