sql - 为什么 AWS Athena 在将结果转储到目标 S3 位置时需要 'spill-bucket'

Question

为什么 AWS Athena 在将结果转储到目标 S3 位置时需要“溢出桶”

WITH
( format = 'Parquet', 
parquet_compression = 'SNAPPY', 
external_location = '**s3://target_bucket_name/my_data**' 
) 
AS
WITH my_data_2 
AS 
    (SELECT * FROM existing_tablegenerated_data" limit 10)
SELECT *
FROM my_data_2;

既然它已经有了存储数据的桶，为什么 Athena 需要溢出桶，它在那里存储什么？

Answer 1

直接参与 Spill 开发的 Trino/Presto 开发人员。

在 Trino ( formerly known as Presto SQL ) 中，术语“溢出”是指将不适合内存的数据转储到磁盘上。这是一个可选功能，允许您处理更大的查询。当然，如果您的所有查询都需要溢出，那么简单地提供具有更多内存的更大集群会更有效，但是当很少有较大查询时，该功能很有用。

溢出涉及保存临时数据，而不是最终查询结果。溢出的数据在查询完成执行之前被重新读回并删除。