gpt4 book ai didi

pandas read_json 成 block 但仍然有内存错误

转载 作者:行者123 更新时间:2023-12-03 16:48:17 24 4
gpt4 key购买 nike

我正在尝试读取和处理一个大的 json 文件(~16G),但即使我通过指定 chunksize=500 读取小块,它仍然有内存错误。我的代码:

i=0
header = True
for chunk in pd.read_json('filename.json.tsv', lines=True, chunksize=500):
print("Processing chunk ", i)
process_chunk(chunk, i)
i+=1
header = False
def process_chunk(chunk, header, i):
pk_file = 'data/pk_files/500_chunk_'+str(i)+'.pk'
get_data_pk(chunk, pk_file) #load and process some columns and save into a pk file for future processing
preds = get_preds(pk_file) #SVM prediction
chunk['prediction'] = preds #append result column
chunk.to_csv('result.csv', header = header, mode='a')
process_chunk 函数基本上读取每个块并向其附加一个新列。
当我使用较小的文件时,它也能正常工作,如果我在 read_json 函数中指定 nrows=5000 也能正常工作。似乎出于某种原因,尽管有 chunksize 参数,它仍然需要完整的文件大小内存。
任何的想法?谢谢!

最佳答案

我在我的项目的一个虚拟环境中使用了 pandas v1.1.2 时遇到了同样的奇怪问题。
将 pandas 降级到 v1.0.5 似乎可以解决问题。

关于pandas read_json 成 block 但仍然有内存错误,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63344321/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com