python - 如何从雪花表中提取数据到文件中？

Question

我正在尝试将雪花表中的数据提取到文件中。默认情况下，提取文件的大小限制为 100MB。

由于文件大小的限制，文件的最后一条记录被拆分，一些列将转到下一个文件。

有没有办法通过文件中的记录数而不是文件大小来限制数据提取？

Answer 1

如果您使用的是 COPY 语句，则可以使用 MAX_FILE_SIZE 选项将文件大小增加到最大 5GB。 (通过将其设置为 5000000000)

https://docs.snowflake.net/manuals/sql-reference/sql/copy-into-location.html#copy-options-copyoptions

例子:

copy into @mystage/myfile.csv.gz from mytable
file_format = (type=csv compression='gzip')
single = true
max_file_size=4900000000

我认为没有办法在复制语法中指定每个文件的行数，尽管您可以在查询中使用过滤器或限制/获取子句来控制记录数。