hadoop - Hive - 列类型名称太长

Question

我想使用 rcongiu 的 hive-json-serde存储符合开放标准的重要 JSON 文档。我用过 Michael Peterson 的便捷 hive-json-schema生成器生成一个 CREATE TABLE 语句，该语句应该可以工作，除了它的大小。

我正在编码的 JSON 文档遵循定义明确的模式，但该模式可能包含一百个字段，最多嵌套四层。符合标准的 Hive 列类型非常非常长(大约 3700 个字符)，当我运行生成的创建表语句时出现错误

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
InvalidObjectException(message:Invalid column type name is too long: <the
really long type name>)

声明看起来像这样:

CREATE TABLE foobar_requests (
  `event_id` int,
  `client_id` int,
  `request` struct<very long and deeply nested struct definition>,
  `timestamp` timestamp)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe';

存储这些文件的任何途径？

Answer 1

Hive 在处理非常长的列定义时存在问题。默认情况下，支持的最大字符数为 4000，因此如果您确实需要更多字符，则必须通过扩展 COLUMNS_V2.TYPE_NAME 的长度来更改 Metastore 数据库。

如果您想阅读有关该问题的更多信息，请访问此链接:

https://issues.apache.org/jira/browse/HIVE-12274