gpt4 book ai didi

hadoop - Sqoop队列调度

转载 作者:行者123 更新时间:2023-12-02 20:42:35 27 4
gpt4 key购买 nike

我正在尝试运行以下sqoop导入

sqoop import \
-Dmapred.child.java.opts="\-Djava.security.egd=file:///dev/urandom" \
-Dmapred.job.queuename=batch \
--connect $connection \
--username $username \
--password $password \
--table $sourceTable \
--columns "$columns"\
--hive-import \
--hive-overwrite \
--hive-table $targetTable \
--compression-codec org.apache.hadoop.io.compress.SnappyCodec \
--hive-delims-replacement "SPECIAL" \
--null-string '\\N' \
--null-non-string '\\N' \
-m 1

尽管我将队列名称分配给批处理,但是当我运行sqoop命令时,它将作业分配给“默认”队列。

我正在资源管理器(node-master:8088)上检查作业。

我的方法有什么问题?

最佳答案

mapred.job.queuename选项无效。相反,请使用mapreduce.job.queuenamemapred.job.queue.name(不建议使用)

关于hadoop - Sqoop队列调度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49253317/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com