database-design - 如何在磁盘或数据库上存储稀疏可查询矩阵？

Question

我需要在磁盘上存储一个稀疏矩阵。它就像一个包含数百万行和数千列的数据库表，其中许多或大多数列为空。它需要是可查询的，就像在某些列上带有 WHERE 的 SQL SELECT。

我的具体要求是在 Java 上。我首先想到使用 Berkeley DB for Java模拟一个表，但它不支持基于值的查询。

然后，我考虑使用常规 SQL 数据库。例如，创建仅包含行 ID、列 ID 和值的架构。虚拟行将是具有相同 ID 的所有实际行。但是，这看起来像是数据库滥用。

有任何想法吗？

Answer 1

在阅读问题标题时，我想到的第一件事是每个 (x,y) 的数据库行，正如您在最后一段的下一段中建议的那样。

另一件要注意的事情是数据库经常压缩行，特别是对于 NULL，因此直接表示可能不会像您想象的那样浪费空间。