gpt4 book ai didi

python - 合并两个没有 Pandas 的csv

转载 作者:太空宇宙 更新时间:2023-11-04 03:40:09 24 4
gpt4 key购买 nike

我有两个要合并的 CSV 文件。对于 Pandas ,我会使用:

pd.merge(df1,df2, how='left', left_on='ST_LOGINID', right_on='LOGINID')

但是 panda 在执行此操作时内存不足(“MemoryError:”),尽管在返回错误之前我的 RAM 使用量仅从 4GB 中的 1.9 GB 增加到 2.2GB。

因此,我正在寻找以下解决方案之一:1) 一种无需将文件加载到内存中即可执行此类合并/连接操作的方法2) 允许 pandas 使用更多 RAM 的一种方法,因为似乎有足够的可用内存。

最佳答案

尝试 csvkit :

首先安装:

pip install csvkit

然后:

csvjoin -c "ST_LOGINID, LOGINID" --outer file1.csv file2.csv

关于python - 合并两个没有 Pandas 的csv,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26877128/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com