python - Pandas 作为 Flask 应用程序的快速数据存储

Question

Pandas 运行转换、加载数据的速度和易用性给我留下了深刻印象，我想利用所有这些不错的属性(以及其他属性)来为一些大型数据集建模( ~100-200k 行，<20 列)。目的是在某些计算节点上处理数据，同时通过 Flask 在浏览器中提供数据集的 View 。

我目前正在使用 Postgres 数据库来存储数据，但是数据的导入(来自 csv 文件)缓慢、乏味且容易出错，从数据库中取出数据并进行处理也不容易.数据一旦导入就永远不会改变(没有 CRUD 操作)，所以我认为将它存储为多个 pandas DataFrame(以 hdf5 格式存储并通过 pytables 加载)是理想的。

问题是:

(1) 这是个好主意吗？需要注意什么？ (例如，我不希望出现并发问题，因为 DataFrame 是(应该？)是无状态和不可变的(从应用程序端处理)。还有什么需要注意的？

(2) 一旦数据从 hdf5 文件加载到 DataFrame 中，我将如何缓存数据，因此不需要为每个客户端请求加载它(至少是大多数最近/频繁的数据帧)。 Flask(或 werkzeug)有一个 SimpleCaching 类，但在内部，它会在访问时挑选数据并取消挑选缓存数据。我想知道这在我的特定情况下是否有必要(假设缓存的对象是不可变的)。另外，当系统部署 Gunicorn 时，这种简单的缓存方法是否可用(是否可以有静态数据(缓存)并且并发(不同进程？)请求可以访问相同的缓存吗？)。

我意识到这些问题很多，但在我投入更多时间并构建概念验证之前，我想我在这里得到了一些反馈。欢迎任何想法。

Answer 1

对您要求的某些方面的回答:

根据您的描述，您的表是否仅在 SQL 数据库中、存储为 HDF5 文件或两者都有。这里需要注意的是，如果您使用 Python 2.x 并通过 pandas 的 HDFStore 类创建文件，任何字符串都将被 pickle 导致文件相当大。您还可以使用 read_sql 直接从 SQL 查询生成 pandas DataFrame。 ，例如。

如果您不需要任何关系操作，那么我会说放弃 postgre 服务器，如果它已经设置并且您将来可能需要继续使用 SQL 服务器。服务器的好处在于，即使您不希望出现并发问题，它也会使用 (Flask-)SQLAlchemy 自动为您处理，从而减少您的头痛。一般来说，如果您希望添加更多的表(文件)，拥有一个中央数据库服务器比维护多个文件更不是问题。

无论你走哪条路，Flask-Cache将成为您的 friend ，使用 memcached 或 redis 后端。然后，您可以缓存/内存从 SQL 或 HDF5 文件返回准备好的 DataFrame 的函数。重要的是，它还允许您缓存可能在显示大型表格时发挥作用的模板。

当然，您也可以生成一个全局变量，例如，在您创建 Flask 应用程序的地方，然后将其导入到需要的地方。我没有尝试过，因此不推荐它。它可能会导致各种并发问题。