mysql - 查询 SQL + HDF5 混合体

Question

我正在开发用于数据分析的混合 SQL(使用 mySQL)和 HDF5 数据库解决方案。我的一些数据非常适合关系型数据，SQL 作为一种查询语言非常方便和有效，但是我有大量的数值数据(包含数千个元素/行/列的数组和矩阵)。因此，我将这些保存在一个 HDF5 文件中，并根据每个观察之间的一些共性来安排组层次结构，这样如果我将用于派生该层次结构的字段添加到 SQL Select 查询中，并在关系数据库与该特定观察数据集中的位置，我得到了快速定位 HDF5 文件中数值数据所需的一切。

我正在用 Python、Numpy 和 h5py 编写所有这些内容。然而，在某些时候我想让整个事情对用户更友好，甚至可能在网络服务器上提供它以供查询和可视化。我最初的猜测是从像 Django 或 SQLAlchemy 这样的 ORM 开始，然后添加一些我的实际脚本来处理 HDf5。有没有人有这种混合方法的经验，尤其是在这个级别？对新手有什么建议吗？

Answer 1

您可能对这项工作感兴趣: Supporting a Light-Weight Data Management Layer over HDF5

顺便说一句，在这项工作之后，已经开发了更多的功能，包括索引、采样和结构分组。