python - 如何使用python将数据快速加载到内存中？

Question

我有一个很大的 csv 文件 (5 GB)，我可以使用 pandas.read_csv() 读取它。这个操作需要很多时间10-20分钟。

我怎样才能加快速度？

将数据转换为 sqllite 格式有用吗？万一我该怎么办？

编辑:更多信息:数据包含 1852 列和 350000 行。大多数列是 float65 并且包含数字。其他一些包含字符串或日期(我认为它们被视为字符串)

我使用的笔记本电脑配备 16 GB RAM 和 SSD 硬盘。数据应该适合内存(但我知道 python 会增加数据大小)

编辑 2:

在加载过程中我收到这条消息

/usr/local/lib/python3.4/dist-packages/pandas/io/parsers.py:1164: DtypeWarning: Columns (1841,1842,1844) have mixed types. Specify dtype option on import or set low_memory=False.
  data = self._reader.read(nrows)

编辑:解决方案

读取一次csv文件并保存为data.to_hdf('data.h5', 'table')这种格式非常高效

Answer 1

这实际上取决于阅读的哪一部分需要 10 分钟。

• 如果它实际上是从磁盘读取，那么显然任何更紧凑的数据形式都会更好。
• 如果它正在处理 CSV 格式(您可以判断这一点，因为您的 CPU 在一个内核上读取时接近 100%；其他两个内核的占用率会非常低)，那么您需要一个已经过预处理的表格。
• 如果它正在交换内存，例如，因为您只有 2GB 的物理 RAM，那么除了拆分数据之外没有任何帮助。

了解您拥有的是哪一款非常重要。例如，对数据进行流压缩(例如，使用 gzip)将使第一个问题好很多，但第二个问题更糟。

听起来您可能遇到了第二个问题，很高兴知道这一点。 (但是，无论遇到什么问题，您都可以做一些可能会更好的事情。)

---

您将其存储在 sqlite 数据库中的想法很好，因为它至少可以同时解决所有这三个问题；您只需要根据需要从磁盘读取数据，并且它以相当紧凑且易于处理的形式存储。但这不是前两个的最佳解决方案，只是一个“相当不错”的解决方案。

特别是，如果您确实需要在所有 350000 行中执行数组范围的工作，并且无法将该工作转换为 SQL 查询，那么您不会从 sqlite 中获得太多好处。最终，您将执行一个巨大的 SELECT 来提取所有数据，然后将它们全部处理到一个大框架中。

---

写出形状和结构信息，然后以 NumPy 二进制形式写入底层数组。然后，为了阅读，你必须扭转它。 NumPy 的二进制形式只是尽可能紧凑地存储原始数据，而且它是一种可以快速写入的格式(它基本上只是将原始内存存储转储到磁盘)。这将改善第一个和第二个问题。

---

同样，将数据存储在 HDF5 中(使用 Pandas IO 或 PyTables 或 h5py 等外部库)将改善第一个和第二个问题。 HDF5 被设计成一种相当紧凑和简单的格式，用于存储您通常在 Pandas 中存储的同类数据。 (它包括可选的压缩作为内置功能，所以如果你知道你有两个中的哪一个，你可以调整它。)它不会像最后一个选项那样很好地解决第二个问题，但可能已经足够好了，而且要简单得多(一旦您完成了 HD​​F5 库的设置)。

---

最后，酸洗数据有时可能会更快。 pickle是 Python 的原生序列化格式，它可以被第三方模块连接——NumPy 和 Pandas 都连接了它来很好地处理数据。

(尽管这不适用于该问题，但它可能有助于稍后搜索的人:如果您使用的是 Python 2.x，请确保明确使用 pickle format 2 ；IIRC，NumPy 在默认 pickle 方面非常糟糕格式 0。在 Python 3.0+ 中，这无关紧要，因为默认格式至少为 3。)