mysql - 我们可以在 Sqoop 中控制 $CONDITIONS 吗？

Question

$Conditions 根据自己决定的占位符将自由格式查询分成不同的拆分。比如说，我们有一个查询，它给出了 1000 条记录的结果。默认情况下，它会被 $CONDITIONS 分成 4 个不同的边界条件查询

(1,250) (251,500) (501,750) and (751,1000).

我们可以做些什么来根据我们的要求实现查询拆分？

Answer 1

您不能选择查询分区偏移量。您可以控制两件事:

• --boundary-query <statement>用于创建拆分。
• --num-mappers用于控制拆分次数。

显然 --split-by专栏。

为每个拆分选择边界听起来是个好主意。但从数据中获得此类见解的成本非常高。

你怎么知道 split 点？

通过迭代该特定列的全部数据并创建一些逻辑来创建理想的分区。

但是您可以比这次迭代更快地运行 sqoop 作业(使用默认分区)。

我想这就是人们对此功能不太感兴趣的原因。