python - 导入 Pandas 时导致大量内存提交的原因

Question

我已经在这个问题上工作了几个小时，没有遇到其他人遇到这个问题。我最近从 Linux 切换到 Windows 10，我的 python 应用程序遇到了内存问题。

我所有的 Python 应用程序都占用了大约 450MB 的内存提交。这正在成为一个问题，因为我们正在部署多个实例和新应用程序。经检查问题， Pandas 似乎是原因。删除我的大部分应用程序后，我可以简单地重现问题:

• 使用 Python 3.8.8 创建一个 venv 环境(也试过 3.8.3 和 3.8.5)
• 安装 Pandas
• 在环境中调用python
• 运行import pandas

Screenshot of the memory usage. The newly created process is 291724

有人知道导致此问题的原因以及如何预防吗？导入pandas当然不应该预留那么多内存，也不应该在导入完成后保留这么多内存？

更新 06/06这是 anon01 要求的另一个屏幕截图。与Working Set、Shareable和Private memory相比，python进程的commit非常大。

Answer 1

恐怕我无法解决这个问题，但有些事情确实有所帮助。最重要的是，降级到 Python 3.7 确实将内存提交减少了 30% 以上。切换到不同版本的 pandas 也有助于减少约 10%。我想尝试一些旧/新版本是解决问题的最佳方法。

通过重构一些软件，我能够移除某些应用程序中的 pandas 依赖项。不确定这个答案是否令人满意，但我希望它能为将来来到这里的人提供一些有用的指示。