hadoop - 格式错误的 ORC 文件错误

Question

将 Hive 外部表从 RC 升级为 ORC 格式并在其上运行 MSCK REPAIR TABLE 时，当我从表中选择全部时，出现以下错误 -

Failed with exception java.io.IOException:java.io.IOException: Malformed ORC file hdfs://myServer:port/my_table/prtn_date=yyyymm/part-m-00000__xxxxxxxxxxxxx Invalid postscript length 1

如果同一张表有RC格式的历史数据迁移到ORC格式的新定义，需要遵循什么流程？

Answer 1

当您添加分区时，Hive 不会自动重新格式化数据。您有两个选择:

1. 将旧分区保留为 RC 文件，并将新分区设为 ORC。
2. 将数据移动到暂存表并使用插入覆盖将数据重写为 ORC 文件。