pandas - Pandas read_csv 可以加载的行数是否有限制？

Question

我正在尝试使用 Pandas read_csv 方法加载一个 .csv 文件，该文件有 29872046 行，总大小为 2.2G。我注意到大多数加载的行都错过了它们的值，因为有大量的列。从 shell 浏览时的 csv 文件包含这些值...加载的文件有什么限制吗？如果没有，如何调试？谢谢

Answer 1

@d1337,

我想知道你是否有内存问题。有这个 here. 的暗示

可能 this是相关的或this .

如果我尝试调试它，我会做简单的事情。将文件切成两半 - 会发生什么？如果没问题，则上升 50%，如果不下降 50%，直到能够确定它发生的点。您甚至可能希望从 20 行开始，并确保它与大小相关。

我还会将操作系统和内存信息以及您正在使用的 Pandas 版本添加到您的帖子中，以防相关(我正在运行 Pandas 11.0、Python 3.2、Linux Mint x64 和 16G RAM，所以我会预计没有问题，比如说)。此外，您可能会发布指向您的数据的链接，以便其他人可以对其进行测试。

希望对您有所帮助。