hadoop - 通过Hive导出到Oracle表时，将字符串和非字符串数据转换为空字段的 'null'

Question

我是Hadoop的新手，有一种情况，我必须使用sqoop导出将数据集/文件从HDFS导出到Oracle表。该文件中的值为“null”，因此该文件也将在表中导出。我想知道在导出时如何用数据库中的空白替换'null'？

Answer 1

您可以在此过程中从配置单元/直线创建一个TSV文件，您可以使用--nullemptystring=true将null添加为空白

示例:beeline -u ${hhiveConnectionString} --outputformat=csv2 --showHeader=false --silent=true --nullemptystring=true --incremental=true -e 'set hive.support.quoted.identifiers =none; select * from someSchema.someTable where whatever > something' > /Your/Local/Location or EdgeNode/exportingfile.tsv
您可以在sqoop导出中使用创建的文件导出到Oracle表。

您也可以使用Unix sed将文件中的空值替换为空白

例如:sed -i s/null//g /Your/file//Your/Local/Location or EdgeNode/exportingfile.tsv