Python: Unstacked DataFrame 太大，导致 int32 溢出

Question

我有一个大数据集，当我尝试运行这段代码时出现内存错误。

user_by_movie = user_items.groupby(['user_id', 'movie_id'])['rating'].max().unstack()

这里是错误:

ValueError: Unstacked DataFrame is too big, causing int32 overflow

我已经在另一台机器上运行它并且运行良好!我该如何解决这个错误？

Answer 1

根据 Google 的说法，您可以将 pandas 版本降级到 0.21，这没有数据透视表和太大数据的问题。