select - hive QL : How do I extract info from "show partitions table' and use it in a query?

Question

当我想从一个大表中选择上个月时，我可以这样做:

select *
from table
where yyyymm=(select max(yyyymm) from table)

它需要永远。但是

hive> show partitions table

只需要一秒钟。

是否可以将 show partitions table 操作成一个 text_string 并执行如下操作:

select *
from table
where yyyymm=(manipulated 'partition_txt')

Answer 1

我尝试在 Hive 中执行此操作但不能，所以我在 Spark 2.1.1 中执行了此操作。

val part = spark.sql("SHOW PARTITIONS db.table")
// sorts list in reverse and writes to hdfs myDir
part.sort(col("partition").desc).write.csv.save("myDir")