snowflake-cloud-data-platform - 如何从snowflake的数据库表中下载超过100MB的数据到csv

Question

有没有办法将超过 100MB 的数据从 Snowflake 下载到 excel 或 csv 中？

我最多可以通过 UI 下载 100MB，点击“下载或查看结果按钮”

Answer 1

您需要考虑使用我们所说的“卸载”，也就是 COPY INTO LOCATION记录在这里: https://docs.snowflake.net/manuals/sql-reference/sql/copy-into-location.html

其他选项可能是使用不同类型的客户端(python 脚本或类似脚本)。

希望对你有帮助...丰富

.....编辑如下....

使用卸载(COPY INTO LOCATION)并不像看起来那么困难，如果您可以使用 snowSQL 客户端(而不是 webUI)，您可以从我们称之为“内部阶段”相当简单，示例如下。

CREATE TEMPORARY STAGE my_temp_stage;

COPY INTO @my_temp_stage/output_filex
FROM (select * FROM databaseNameHere.SchemaNameHere.tableNameHere)
FILE_FORMAT = ( 
 TYPE='CSV' 
 COMPRESSION=GZIP 
 FIELD_DELIMITER=',' 
 ESCAPE=NONE 
 ESCAPE_UNENCLOSED_FIELD=NONE 
 date_format='AUTO' 
 time_format='AUTO' 
 timestamp_format='AUTO'
 binary_format='UTF-8' 
 field_optionally_enclosed_by='"' 
 null_if='' 
 EMPTY_FIELD_AS_NULL = FALSE 
)  
overwrite=TRUE 
single=FALSE 
max_file_size=5368709120 
header=TRUE;

ls @my_temp_stage;

GET @my_temp_stage file:///tmp/ ;

这个例子:

1. 在 Snowflake 中创建一个临时舞台对象，当您关闭 session 时该对象将被丢弃。
2. 获取查询结果并将它们加载到该内部临时阶段的一个(或多个)csv 文件中，具体取决于输出的大小。请注意我没有创建另一个名为“FILE FORMAT”的数据库对象，这样做被认为是最佳实践，但是如果您不介意命令如此，则可以在不创建单独对象的情况下执行这些提取操作长。
3. 列出阶段中的文件，以便您可以看到创建的内容。
4. 使用 GET 拉下文件，在本例中，这是在我的 Mac 上运行的，文件放在/tmp 中，如果您使用的是 Windoz，则需要稍微修改一下。