mysql - 最佳使用数据库存储大型科学数据集

Question

在我的主要职责中，我处理实验室测试数据文件，这些文件可以包含每个独特测试条件的 2000 多个参数。这些文件通常以 CSV 格式文件的形式存储和处理，但是当处理 6000 多个文件且每个文件超过 100 行时，这会变得非常笨重。

我正致力于 future 的数据库存储和查询解决方案，以提高访问和效率，但我受限于 MySQL 的行长度限制(特别是 RHEL 7.5 上的 MariaDB 5.5.60)。我使用的是 MYISAM 而不是 InnoDB，这使我能够访问大约 1800 个主要是 double 格式的数据字段。这个版本的 MariaDB 强制对动态列进行编号，而不是命名，而且由于管理政策，我目前无法升级到 MariaDB 10+。

我应该为这个应用程序寻找 NoSQL 数据库，还是有更好的方法来处理这些数据？其他人如何处理多变量数据集，尤其是数字数据？

有关我尝试导入的 CSV 文件的示例，请参见下文。我一直使用的标识符是 TEST、RUN、TP 的组合，形成一个 12 位无符号 bigint key 。

示例文件:运行，TP，测试，角度，速度，...1.000000E+00,1.000000E+00,5.480000E+03,1.234567E+01,6.345678E+04,...

示例键:548000010001 <-- 测试 = 5480，运行 = 1，TP = 1

感谢您的任何意见。

Answer 1

复杂性来自于您必须处理大量数据这一事实，而不是因为它们被拆分为具有许多行的许多文件。

使用数据库存储和查询系统会从表面上隐藏一些这种复杂性，但会以其他几个级别的复杂性为代价，正如您已经经历过的那样，包括您无法控制的障碍，例如更改版本和保守的管理员。数据库存储和查询系统是为其他应用场景而设计的，它们具有与您的情况无关的优势。

您应该认真地重新考虑将数据保留在文件中，即使用您的文件系统作为您的数据库存储系统。可能，将您的 CSV 输入转录为现代的自记录数据格式，如 YAML 或 HDF5。对于查询，您最好编写直接访问这些文件的脚本或程序，而不是编写 SQL 查询。