hadoop - 如何使用命令行选项控制 Hadoop 任务重试策略？

Question

我想使用命令行选项控制 Hadoop 作业重试策略。例如，我想编写以下 Sqoop 作业并使其对 MySQL 中断具有容错能力:

sqoop
  GENERIC_SQOOP_OPTIONS
  -Dmap.retry.exponentialBackOff=TRUE
  -Dmap.retry.numRetries=10

对于一般的 Hadoop 作业，它可能类似于:

hadoop job -submit
  GENERIC_JOB_OPTIONS
  -Dmap.retry.exponentialBackOff=TRUE
  -Dmap.retry.numRetries=10

Answer 1

是的，Sqoop 支持 hadoop“-D”参数。但是，它们在命令行中的位置至关重要。它们必须直接出现在“sqoop”之后和任何其他 Sqoop 参数之前:

sqoop -Dmap.retry.exponentialBackOff=TRUE -Dmap.retry.numRetries=10 import --connect ...

请注意，不同的定位不会按预期工作。