gpt4 book ai didi

python - Numpy hstack 爆内存

转载 作者:行者123 更新时间:2023-11-28 16:37:35 25 4
gpt4 key购买 nike

<分区>

我是 Python 的新手,不确定为什么当我使用 Numpy hstack 将两个 pandas 数据帧连接在一起时,内存使用量急剧上升。 pandas.concat 的性能甚至更差 - 如果它能完成 - 所以我使用 NumPy。

两个数据框比较大,但是我有20gb的空闲内存(使用11GB,包括我要复制的两个数据框)。

数据框a和b有形状:

a.shape (66377, 30)
b.shape (66377, 11100)

当我使用 np.hstack((a,b)) 时,可用的 20GB 已完全用完。

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com