hadoop - 密码问题的 Sqoop 作业

Question

Sqoop 作业总是在 CLI 中提示输入密码。为了避免这种情况，据说应该将属性 sqoop.metastore.client.record.password 设置为 true。但是到处都说我需要更改 sqqop_site.xml 中的这个值。无论如何我可以将这个值单独设置为一项工作。我尝试创建如下所示的作业，但 sqoop 无法创建它

sqoop job --create TEST -D sqoop.metastore.client.record.password=true -- import \
--connect jdbc:netezza://xx.xxx.xx.xxx/database \
--username username \
--password password \
--table tablename \
--split-by key \
--hcatalog-database hivedatabase \
--hcatalog-table hivetable \
--hcatalog-storage-stanza 'STORED as ORC TBLPROPERTIES('orc.compress'='NONE')' \
-m 100

错误:

Warning: /usr/iop/4.1.0.0/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
16/06/17 07:10:08 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6_IBM_20
16/06/17 07:10:08 ERROR tool.BaseSqoopTool: Error parsing arguments for job:
16/06/17 07:10:08 ERROR tool.BaseSqoopTool: Unrecognized argument: -D
16/06/17 07:10:08 ERROR tool.BaseSqoopTool: Unrecognized argument: sqoop.metastore.client.record.password=true

谁能帮我解决这个问题。我需要在 CLI 中运行一个没有提示密码的作业。

Answer 1

您可以将密码保存在一个文件中，并使用参数--password-file 指定该文件的路径。

--password-file  'Set path for a file containing the authentication password'

Sqoop 然后将从文件中读取密码，并使用安全方式将其传递给 MapReduce 集群，而不会在作业配置中暴露密码。