hadoop - 使用动态列插入 Hive

Question

我收到的文件中的列是动态的。文件1可以是

column1 column2 column3 column4 column5 column6 column7

文件2可以

column1 column2 column9 column10    column11    column12    column13

文件3可以

column1 column2 column3 column10    column11

如何将配置单元表修改为我将随文件一起接收的列。

Answer 1

这会非常困惑，但如果没有任何明确的定界符，您能做的最好的事情就是定义一个 RegexSerDe 并捕获每个可能的列。

您缺少的列基本上是一个可选的捕获组 ()?

您的另一个选择是让 Spark 根据标题行推断模式和缺失的列，如果您有的话

一旦获得原始数据的文本表格，就应该将其转换为适当的柱状数据格式。