oracle - Sqoop ExportTool 到 Oracle NullPointer 异常

Question

使用如下命令:

sqoop export \
--connect jdbc:oracle:thin:'@somehostname.com:1521/prod1_adhoc' \
--username fbaggins \
--P \
--table MIDDLEEARTH \
--hcatalog-database MORDOR \
--hcatalog-table MORDOR \
--columns IS_DWARF,IS_ELF \
--verbose

导致此错误:

16/08/25 10:08:31 INFO hive.metastore: Trying to connect to metastore with URI thrift://somehostname.com:1521
16/08/25 10:08:31 INFO hive.metastore: Connected to metastore.
16/08/25 10:08:31 DEBUG util.ClassLoaderStack: Restoring classloader: sun.misc.Launcher$AppClassLoader@56aac163
16/08/25 10:08:31 ERROR tool.ExportTool: Encountered IOException running export job: java.io.IOException: java.lang.NullPointerException
16/08/25 10:08:31 DEBUG manager.OracleManager$ConnCache: Caching released connection for jdbc:oracle:thin:@somehostname.com:1521/prod1_adhoc/fbaggins

不确定空值来自何处，因为 Hive 表中没有空值。

供引用，来自 hive :

hive> describe MORDOR;
OK
IS_DWARF bigint                                      
IS_ELF   string

来自甲骨文:

describe MORDOR
Name                    Null Type        
----------------------- ---- ----------- 
IS_DWARF                     NUMBER(12)  
IS_ELF                       VARCHAR2(3) 

Answer 1

MORDOR 是 Hive View 而不是表吗？

当为 sqoop --table 指定的对象是 View 时，我遇到了完全相同的问题。 DESCRIBE 命令只打印该 View 的列 - 因此它不会显示它是否是一个 View 。您可以运行 SHOW CREATE TABLE MORDOR 来确认这是一个 View 或表(“show create table”也适用于 View ，因为没有像“”这样的单独命令显示创建 View ").

SQOOP 文档明确指出支持从 View 中sqoop import，但是关于 View 的 sqoop export 的 sqoop 文档没有说明 - 没有说明是否支持- 它可能是 SQOOP 或 HMS 错误。 Sqoop 可能不喜欢 HMS 为 View 返回的内容。所以不排除它可能是一个 HMS 错误。