mysql - --query 下的 $CONDITIONS 的目的是什么？

Question

我使用的是cloudera快速入门版CDH 5.7

我在终端窗口中使用了以下查询:

sqoop import \
  --connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \
  --username=retail_dba \
  --password=cloudera \
  --query="select * from orders join order_items on orders.order_id = order_items.order_item_order_id where \$CONDITIONS" \
  --target-dir /user/cloudera/order_join \
  --split-by order_id \
  --num-mappers 4

问:$CONDITIONS 的目的是什么？为什么在这个查询中使用？谁能给我解释一下。

Answer 1

$CONDITIONS是sqoop内部用来修改query以实现任务拆分和获取元数据的。

为了获取元数据，sqoop 将 \$CONDITIONS 替换为 1= 0

select * from table where 1 = 0

为了获取所有数据(1 个映射器)，sqoop 将 \$CONDITIONS 替换为 1= 1

select * from table where 1 = 1

在多个映射器的情况下，sqoop 将 \$CONDITIONS 替换为范围查询以从 RDBMS 中获取数据子集。

例如，id 介于 1 到 100 之间，我们使用 4 个映射器。

Select * From table WHERE id >= 1' AND 'id < 25
Select * From table WHERE id >= 25' AND 'id < 50
Select * From table WHERE id >= 50' AND 'id < 75
Select * From table WHERE id >= 75' AND 'id <= 100