sqoop - 为什么我在 Azkaban 中的 Sqoop 任务在选择列后卡住了？-6ren

sqoop - 为什么我在 Azkaban 中的 Sqoop 任务在选择列后卡住了？

转载作者：行者123 更新时间：2023-12-05 07:41:12

我在Azkaban中使用shell命令，并将Sqoop命令放在shell脚本中。

今天 Sqoop 任务无缘无故卡住了，sqoop_task1。

几天前发生在另一个 sqoop 任务上，我们称它为 sqoop_task2。

sqoop_task1和sqoop_task2都是导入作业，从MySQL到Hive，源db.table和目标db.tabla完全不同。但问题是一样的。这是日志:

07-08-2017 02:43:21 CST import_user_plan_record INFO - Starting job import_user_plan_record at 1502045001852
07-08-2017 02:43:21 CST import_user_plan_record INFO - azkaban.webserver.url property was not set
07-08-2017 02:43:21 CST import_user_plan_record INFO - job JVM args: -Dazkaban.flowid=m2h_done_xxx_20170807020506 -Dazkaban.execid=26987 -Dazkaban.jobid=import_user_plan_record
07-08-2017 02:43:21 CST import_user_plan_record INFO - Building command job executor. 
07-08-2017 02:43:21 CST import_user_plan_record INFO - 1 commands to execute.
07-08-2017 02:43:21 CST import_user_plan_record INFO - effective user is: azkaban
07-08-2017 02:43:21 CST import_user_plan_record INFO - Command: sh /var/azkaban-metamap/m2h-20170807020501-import_user_plan_record.m2h
07-08-2017 02:43:21 CST import_user_plan_record INFO - Environment variables: {JOB_OUTPUT_PROP_FILE=/server/azkaban2.6.4/exec/executions/26987/tmp/m2h-20170807020501/import_user_plan_record_output_11695048929175505_tmp, JOB_PROP_FILE=/server/azkaban2.6.4/exec/executions/26987/tmp/m2h-20170807020501/import_user_plan_record_props_1410808489340719464_tmp, KRB5CCNAME=/tmp/krb5cc__xxx_m2h_day_m2h-20170807020501__m2h_done_xxx_20170807020506__import_user_plan_record__26987__azkaban, JOB_NAME=import_user_plan_record}
07-08-2017 02:43:21 CST import_user_plan_record INFO - Working directory: /server/azkaban2.6.4/exec/executions/26987/tmp/m2h-20170807020501
07-08-2017 02:43:22 CST import_user_plan_record INFO - Warning: /usr/hdp/2.4.2.0-258/accumulo does not exist! Accumulo imports will fail.
07-08-2017 02:43:22 CST import_user_plan_record INFO - Please set $ACCUMULO_HOME to the root of your Accumulo installation.
07-08-2017 02:43:28 CST import_user_plan_record INFO - 17/08/07 02:43:28 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6.2.4.2.0-258
07-08-2017 02:43:28 CST import_user_plan_record INFO - 17/08/07 02:43:28 DEBUG tool.BaseSqoopTool: Enabled debug logging.
07-08-2017 02:43:28 CST import_user_plan_record INFO - 17/08/07 02:43:28 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
07-08-2017 02:43:28 CST import_user_plan_record INFO - 17/08/07 02:43:28 INFO tool.BaseSqoopTool: Using Hive-specific delimiters for output. You can override
07-08-2017 02:43:28 CST import_user_plan_record INFO - 17/08/07 02:43:28 INFO tool.BaseSqoopTool: delimiters with --fields-terminated-by, etc.
07-08-2017 02:43:28 CST import_user_plan_record INFO - 17/08/07 02:43:28 DEBUG sqoop.ConnFactory: Loaded manager factory: org.apache.sqoop.manager.oracle.OraOopManagerFactory
07-08-2017 02:43:29 CST import_user_plan_record INFO - 17/08/07 02:43:29 DEBUG sqoop.ConnFactory: Loaded manager factory: com.cloudera.sqoop.manager.DefaultManagerFactory
07-08-2017 02:43:29 CST import_user_plan_record INFO - 17/08/07 02:43:29 WARN sqoop.ConnFactory: Parameter --driver is set to an explicit driver however appropriate connection manager is not being set (via --connection-manager). Sqoop is going to fall back to org.apache.sqoop.manager.GenericJdbcManager. Please specify explicitly which connection manager should be used next time.
07-08-2017 02:43:29 CST import_user_plan_record INFO - 17/08/07 02:43:29 INFO manager.SqlManager: Using default fetchSize of 1000
07-08-2017 02:43:29 CST import_user_plan_record INFO - 17/08/07 02:43:29 INFO tool.CodeGenTool: Beginning code generation
07-08-2017 02:43:29 CST import_user_plan_record INFO - 17/08/07 02:43:29 DEBUG manager.SqlManager: Execute getColumnInfoRawQuery : SELECT t.* FROM user_plan_record AS t WHERE 1=0
07-08-2017 02:43:30 CST import_user_plan_record INFO - 17/08/07 02:43:30 DEBUG manager.SqlManager: No connection paramenters specified. Using regular API for making connection.
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 DEBUG manager.SqlManager: Using fetchSize for next query: 1000
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM user_plan_record AS t WHERE 1=0
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 DEBUG manager.SqlManager: Found column id of type [-5, 20, 0]
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 DEBUG manager.SqlManager: Found column user_id of type [12, 50, 0]
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 DEBUG manager.SqlManager: Found column plan_id of type [-5, 20, 0]
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 DEBUG manager.SqlManager: Found column largeclass_id of type [-5, 20, 0]
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 DEBUG manager.SqlManager: Found column subclass_name of type [12, 200, 0]
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 DEBUG manager.SqlManager: Found column dream_amount of type [3, 14, 2]
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 DEBUG manager.SqlManager: Found column create_time of type [93, 19, 0]
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 DEBUG manager.SqlManager: Found column update_time of type [93, 19, 0]
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 DEBUG manager.SqlManager: Found column yn of type [4, 1, 0]
07-08-2017 02:43:31 CST import_user_plan_record INFO - 17/08/07 02:43:31 DEBUG manager.SqlManager: Found column version of type [4, 11, 0]
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG manager.SqlManager: Using fetchSize for next query: 1000
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM user_plan_record AS t WHERE 1=0
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG manager.SqlManager: Found column id
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG manager.SqlManager: Found column user_id
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG manager.SqlManager: Found column plan_id
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG manager.SqlManager: Found column largeclass_id
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG manager.SqlManager: Found column subclass_name
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG manager.SqlManager: Found column dream_amount
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG manager.SqlManager: Found column create_time
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG manager.SqlManager: Found column update_time
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG manager.SqlManager: Found column yn
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG manager.SqlManager: Found column version
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter: selected columns:
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter:   id
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter:   user_id
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter:   plan_id
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter:   largeclass_id
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter:   subclass_name
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter:   dream_amount
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter:   create_time
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter:   update_time
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter:   yn
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter:   version
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter: Writing source file: /server/app/sqoop/vo/user_plan_record.java
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter: Table name: user_plan_record
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter: Columns: id:-5, user_id:12, plan_id:-5, largeclass_id:-5, subclass_name:12, dream_amount:3, create_time:93, update_time:93, yn:4, version:4, 
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.ClassWriter: sourceFilename is user_plan_record.java
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.CompilationManager: Found existing /server/app/sqoop/vo/
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 INFO orm.CompilationManager: HADOOP_MAPRED_HOME is /usr/hdp/2.4.2.0-258/hadoop-mapreduce
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.CompilationManager: Returning jar file path /usr/hdp/2.4.2.0-258/hadoop-mapreduce/hadoop-mapreduce-client-core.jar:/usr/hdp/2.4.2.0-258/hadoop-mapreduce/hadoop-mapreduce-client-core-2.7.1.2.4.2.0-258.jar
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.CompilationManager: Current sqoop classpath = 。。。。。。。。。。。
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.CompilationManager: Adding source file: /server/app/sqoop/vo/user_plan_record.java
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.CompilationManager: Invoking javac with args:
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.CompilationManager:   -sourcepath
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.CompilationManager:   /server/app/sqoop/vo/
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.CompilationManager:   -d
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.CompilationManager:   /server/app/sqoop/vo/
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.CompilationManager:   -classpath
07-08-2017 02:43:32 CST import_user_plan_record INFO - 17/08/07 02:43:32 DEBUG orm.CompilationManager:   。。。。。。。。。。。。。。。。。。。
07-08-2017 08:43:01 CST import_user_plan_record ERROR - Kill has been called.
07-08-2017 08:43:01 CST import_user_plan_record INFO - Process completed unsuccessfully in 21579 seconds.
07-08-2017 08:43:01 CST import_user_plan_record ERROR - Job run failed!
java.lang.RuntimeException: azkaban.jobExecutor.utils.process.ProcessFailureException

在其类路径被打印之后或期间，它卡住了。

有没有人遇到过这个问题？

最佳答案

有时我会遇到这种Azkaban日志不提供任何失败原因的情况。我所做的是，我检查了任务的 yarn 日志，我可以找到失败的原因。

关于sqoop - 为什么我在 Azkaban 中的 Sqoop 任务在选择列后卡住了？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/45539083/

文章推荐： java - Spring 5 中的 Hello World 应用程序上下文

文章推荐： php - Laravel Cashier 在新创建的订阅中返回 false

文章推荐： ruby-on-rails - 如何通过扫描二维码更新数据库？

c# - 任务.WaitSubset/任务.WaitN？
Task.WaitAll 方法等待所有任务，Task.WaitAny 方法等待一个任务。如何等待任意N个任务？用例:下载搜索结果页面，每个结果都需要一个单独的任务来下载和处理。如果我使用 WaitA
f# - 任务.任务.运行 : port from C# to F#
我正在查看一些像这样的遗留 C# 代码: await Task.Run(() => { _logger.LogException(LogLevel.Error, mes
php - Linux cron 任务 - 如何添加和运行 cron 任务？
如何在 Linux 中运行 cron 任务？关注此Q&A ，我有这个 cron 任务要运行 - 只是将一些信息写入 txt 文件， // /var/www/cron.php $myfile = fo
ansible playbook 按此顺序执行 : task, 角色、任务、角色、任务
原谅我的新手问题，但我想按顺序执行三个任务并在剧本中使用两个角色: 任务角色任务角色任务这是我到目前为止(任务，角色，任务): --- - name: Task Role Task ho
依赖于其他任务输出的 Gradle 任务？
我有一个依赖于 installDist 的自定义任务 - 不仅用于执行，还依赖于 installDist 输出: project.task('run', type: JavaExec, depends
Wix:如何强行杀死进程/任务？
从使用 Wix 创建的 MSI 运行卸载时，我需要在尝试删除任何文件之前强行终止在后台运行的进程。主要应用程序由一个托盘图标组成，它反射(reflect)了 bg 进程监控本地 Windows 服务的
自动启动我的服务器和应用程序的 Ant 任务
我想编写 Ant 任务来自动执行启动服务器的任务，然后使用我的应用程序的 URL 打开 Internet Explorer。显然我必须执行 startServer先任务，然后 startApplic
asynchronous - 任务.继续困惑
使用 ASP.NET 4.5，我正在尝试使用新的 async/await 玩具。我有一个 IDataReader 实现类，它包装了一个特定于供应商的阅读器(如 SqlDatareader)。我有一个简
按任务组过滤可用的 Gradle 任务
使用命令 gradle tasks可以得到一份所有可用任务的报告。有什么方法可以向此命令添加参数并按任务组过滤任务。我想发出类似 gradle tasks group:Demo 的命令筛选所有任务并
远程删除目录的 Ant 任务
除了sshexec，还有什么办法吗？任务要做到这一点？我知道您可以使用 scp 复制文件任务。但是，我需要执行其他操作，例如检查是否存在某些文件夹，然后将其删除。我想使用类似 condition 的东
从字符串中挑选单词的 Ant 任务
假设我有字符串 - "D:\ApEx_Schema\Functions\new.sql@@\main\ONEVIEW_Integration\3" 我需要将以下内容提取到 diff 变量中 - 文档名
用于确定文件是否为只读的 Ant 任务
我需要编写一个 ant 任务来确定某个文件是否是只读的，如果是，则失败。我想避免使用自定义选择器来为我们的构建系统的性质做这件事。任何人都有任何想法如何去做？我正在使用 ant 1.8 + ant-c
task - 线程池和上下文切换(任务)？
这是一个相当普遍的计算机科学问题，并不特定于任何操作系统或框架。因此，我对与在线程池上切换任务相关的开销感到有些困惑。在许多情况下，给每个作业分配自己的特定线程是没有意义的(我们不想创建太多硬件线程
用于检查主机在关机后是否真的离线的 Ansible 任务
我正在使用以下 Ansible playbook 一次性关闭远程 Ubuntu 主机列表: - hosts: my_hosts become: yes remote_user: my_user
Ant 任务？
如何更改 Ant 中的当前工作目录？ Ant documentation没有任务，在我看来，最好的做法是不要更改当前工作目录。但让我们假设我们仍然想这样做——你会如何做到这一点？谢谢! 最佳答案
每三天执行一次 Cron 任务
是否可以运行 cronjob每三天一次？或者也许每月 10 次。最佳答案每三天运行一次 - 或更短时间在月底运行一次。 (如果上个月有 31 天，它将连续运行 2 天。) 0 0 */3 * *
使用存储库中的工件作为构建工具的 Gradle 任务
如何在 Gradle 任务中执行托管在存储库中的工具？在我的具体情况下，我正在使用 Gradle 构建一个 Android 应用程序。我添加了一项任务，将一些 protobuf 数据从文本编码为二进
gradle - 任务，子项目和配置之间的关联
我的项目有下一个结构: Root |- A |- C (depends on A) \- B (depends on A) 对于所有子项目，我们使用自己的插件生成资源:https://githu
hadoop - Hadoop如何分配MapReduce作业的数据/任务？
我设置了一个具有4个节点的Hadoop群集，其中一个充当HDFS的NameNode以及Yarn主节点。该节点也是最强大的。现在，我分发了2个文本文件，一个在node01(名称节点)上，一个在node
具有更多受让人的 TFS 任务
在 TFS 2010 中为多个用户存储任务的最佳方式是什么？我只能为一项任务分配一个。 (例如:当我计划向所有开发人员演示时) (这是一个 Scrum Msf 敏捷项目，其中任务是用户故事的一部分)

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

sqoop - 为什么我在 Azkaban 中的 Sqoop 任务在选择列后卡住了？