mysql - 将没有数字 ID 的非常大的表从 MySQL 加载到 S3

Question

我正在尝试(使用 Sqoop)将 MYSQL 中的一个大表(大小为 500GB，行数约为 200M)传输到 S3。但是，此表没有数字键列。

它有一个包含 3 列的组合主键。我观察到 sqoop 不能均匀地分块数据集，因为 ID 在最小值和最大值之间分布不均匀。 sqoop 中的 Rage 查询效果不佳，因为该列未编入索引。

有没有更好的方法使用 sqoop 或任何其他技术来做到这一点？

附言我正在尝试将数据输出为 AVRO 文件

Answer 1

如果您有一个包含多列键的表，您需要使用不同的列使用 --split-by 参数手动指定范围。 Sqoop 不支持多列。