hadoop - sqoop 作为 Parquet 文件导入到目标目录，但找不到该文件

Question

我一直在使用sqoop从mysql导入数据到hive，我使用的命令如下:

sqoop import --connect jdbc:mysql://localhost:3306/datasync \
    --username root --password 654321 \
    --query 'SELECT id,name FROM test WHERE $CONDITIONS' --split-by id \
    --hive-import --hive-database default --hive-table a \
    --target-dir /tmp/yfr --as-parquetfile

Hive 表已创建并插入数据，但是我找不到 parquet 文件。

有人知道吗？

最好的问候，

飞然

Answer 1

Sqoop 导入到配置单元分两步:

• 从 RDBMS 获取数据到 HDFS
• 如果不存在则创建 hive 表并将数据加载到 hive 表中

在你的情况下，

首先，数据存储在--target-dir即/tmp/yfr

然后，它被加载到 Hive 表 a 中使用

加载数据...进入表...命令。

如评论中所述，数据已移动到 hive 仓库目录，这就是 --target-dir 中没有数据的原因。