gpt4 book ai didi

python - 大数据数据透视表(2.5m 与 2m)

转载 作者:行者123 更新时间:2023-11-30 01:10:12 25 4
gpt4 key购买 nike

我有一个具有以下架构的表:用户ID |位置ID |重量

基本问题是我需要创建一个数据透视表,这样我就有用户ID作为行位置ID作为列以及权重矩阵。这可以在 Excel 和 python 中轻松实现,但问题的主要部分是我的数据大小非常大,大约250 万个用户和 200 万个位置。这在 Excel 中是不可能的,而且我没有足够的 RAM 来通过 python 执行它。

请告诉我最好的方法是什么。

可能有一个表(数百万行),如下所示:

Table1

他需要的输出是:(数百万行和列)

Table2

最佳答案

您想对结果做什么?您是否知道生成的枢轴需要一些太比特来存储?我不会那么容易管理。

您可以按用户 ID 和位置 ID 对数据进行排序,并将数据视为稀疏矩阵。

关于python - 大数据数据透视表(2.5m 与 2m),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/19511394/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com