apache-spark - IN子句中的Spark SQL限制

Question

我在spark-sql中有一个查询，在IN子句中有很多值:

select * from table where x in (<long list of values>)

当我运行此查询时，我从 TransportException中的 MetastoreClient获得了 spark。
x列是表的分区列。配置单元metastore在Oracle上。

in子句中可以有多少个值是否有硬性限制？
或者我可以将超时值设置得更高些，以便给Metastore更多的时间来回答。

Answer 1

是的，您最多可以在IN子句中传递1000个值。
但是，可以在IN子句中使用OR运算符，并将值列表切成多个1000个窗口。