hive - Spark : Hive Query

Question

我有一个日志文件，第一列是我在 Hive 表中的分区。

    logSchemaRDD.registerTempTable("logs")

    hiveContext.sql("insert overwrite table logs_parquet PARTITION(create_date=select ? from logs) select * from logs")

如何构造查询以选择第一列(此处标记为？)并确保我在分区中选择的列与第二个选择 (*) 匹配？

Answer 1

您需要明确枚举源列表和目标列表中的列:在这种情况下，select * 是不够的。

insert overwrite table logs_parquet PARTITION(create_date) (col2, col3..) 
select col2,col3, .. col1 from logs

是的，编写查询需要更多工作 - 但分区查询确实需要显式映射列与最后的分区列。