mysql - mysql中如何处理 "too many columns"

Question

我在制表符分隔文件中有 1800 列和大约 400 万行。我正在尝试将其加载为 mysql 关系。 Mysql 给我 ERROR 1117 (HY0000): Too many columns。我在网上查了一下，发现 MySQL 无法处理如此大的数据，一些建议是垂直分区表。

我正在寻找的是关于如何对其进行分区以及如何对分区表执行选择查询的示例。

谢谢

Answer 1

您可以拥有任意数量的表来定义单个关系。由于几个原因(性能、安全性)，它也被认为是可接受的做法。

您只需要拆分您的 csv 文件并保持表与相同的主键链接。

要拆分 csv 文件，您可以轻松使用 cut(希望没有大小限制):

cut -d"," -f1-1000 patients.csv > cols1000.csv
cut -d"," -f1001-1800 patients.csv > cols1800.csv

当然，如果你愿意，你可以拆分更多。对于表格，我知道您已经知道如何导入。只需在两个表中使用 auto_increment pkey 来保持关系。