presto - BigQuery + 亚马逊雅典娜 + Presto : limits on number of partitions and columns

Question

根据 Google BigQuery 文档，BigQuery 具有以下限制 ( https://cloud.google.com/bigquery/quotas ):

1) Maximum number of partitions per partitioned table — 4,000.

2) Maximum columns in a table, query result, or view definition — 10,000

基于 Amazon Athena 文档:( https://docs.aws.amazon.com/athena/latest/ug/service-limits.html ):

Maximum number of partitions per partitioned table — 20,000

AWS Athena 或 Presto 的列数是否有硬性限制？

谢谢!

Answer 1

Is there any hard limits on the number of columns for AWS Athena or for Presto?

遗憾的是，我无法回答 AWS Athena，但我可以回答 Presto。

不，列数没有明确的硬性限制。 理论上，您会受到 Java 中可用内存和集合最大大小的限制。

然而，在实践中，当您的列超过 10k 时，您可能会遇到规划时间增加的情况。如果列数较多(可能大约 100k 或更多)，您将在为处理查询而生成的类中达到 JVM 字节代码长度限制。