python - 超过 5000 万行数据 - CSV 或 MySQL

Question

我有一个大约 1GB 的 CSV 文件，包含大约 5000 万行数据，我想知道是将它保存为 CSV 文件还是将其存储为某种形式的数据库更好。我对 MySQL 了解不多，无法争论为什么我应该使用它或其他数据库框架而不是将其保存为 CSV 文件。我基本上是在对这个数据集进行广度优先搜索，所以一旦我获得初始“种子”设置 5000 万，我就将其用作队列中的第一个值。

谢谢，

Answer 1

我想说的是，对于如此大的结构化数据，使用数据库而不是 CSV 有很多好处，所以我建议您学习足够多的知识来这样做。但是，根据您的描述，您可能想要查看非服务器/轻量级数据库。例如 SQLite，或类似于 JavaDB/Derby 的东西……或者根据您的数据结构，一个非关系 (Nosql) 数据库——显然您需要一个具有某种类型的 Python 支持的数据库。