PHP/MYSQL 在数据库上存储大型数据集

Question

我正在构建一个收集和解析“csv”文件的平台，该文件平均包含 5000 行和 40 列；任何注册用户都可以上传文件，因此理论上可以上传和存储的文件数量应该没有限制(假设我每天上传的数量不超过 20 个)。这些文件由定制的 PHP 解析器解析，这有点高效，但问题来了:存储。特别是，我想将这些数据存储在 MySQL 数据库中以供以后使用:我应该如何组织我的数据库？我是否应该创建一个表，其中每个文件包含一行，每个单元格包含原始文件每列的内容？或者我应该为文件中的每一行插入一行？在我看来，第一个解决方案更好一些，因为第二个解决方案建立了大量的行，但效率也较低，因为每当我必须提取数据库中的任何数据时，我都必须再次解析整个 blob，然后提取我需要的数据

考虑到如果太多用户同时连接，由于内存不足，我无法将数据存储在 PHP 数组中，在这种情况下，哪一个是最好的解决方案？

Answer 1

由于所有文件都具有相同的列，因此您应该将它们存储在一个表中，并添加另一个附加列(可能引用第二个表，每次上传一行)以唯一标识一组行。

例如:

rowId, setId, col1, col2, ...
1, 1, 'abc', 'def', ...
2, 1, 'abc', 'def', ...
3, 1, 'abc', 'def', ...
4, 2, 'abc', 'def', ...
5, 2, 'abc', 'def', ...
6, 2, 'abc', 'def', ...

这就是 2 组(每组 3 行)的数据。