python - 将 17GB JSON 文件转换为 numpy 数组

Question

我在 hdfs 中放置了一个 17 GB 的大 JSON 文件。我需要读取该文件并将其转换为 nummy 数组，然后将其传递给 K-Means 聚类算法。我尝试了很多方法，但系统速度变慢并出现内存错误或内核死机。

我试过的代码是

from hdfs3 import HDFileSystem
import pandas as pd
import numpy as nm
import json
hdfs = HDFileSystem(host='hostname', port=8020)
with hdfs.open('/user/iot_all_valid.json/') as f:
 for line in f:
        data = json.loads(line)
df = pd.DataFrame(data)
dataset= nm.array(df)

我试过使用 ijson，但仍然不确定哪种方法更快速。

Answer 1

我会远离 numpy 和 Pandas，因为在这两种情况下你都会遇到内存问题。我宁愿坚持 SFrame或 the Blaze ecosystem ，专为处理此类“大数据”案例而设计。神奇的工具!