snowflake-cloud-data-platform - 阶段的常见做法

Question

Snowflake 允许使用不同的路径将不同结构的文件放在一个阶段中。另一方面，我们可以将相同结构的文件放在不同的阶段。

stage 是一个模式的多个表的存储还是 stage 是为分区表存储数据的一种方式？通常的做法是什么？

Answer 1

Snowflake 中有几种不同类型的阶段:

内部阶段(Named、User 和Table):使用这些类型的阶段，您可以将文件直接上传到 Snowflake。如果您想从单个阶段将数据加载到多个表中，您可以使用“命名”或“用户”阶段。创建表时会自动创建“表”阶段，它仅用于将数据加载到单个表中。对于所有内部阶段，您通常使用 SnowSQL 从本地计算机或服务器将数据上传到 Snowflake，然后运行复制命令到表中。

外部阶段 ( External Stages ):根据我的经验，外部阶段是最常见的。您在 Snowflake 中创建一个指向云提供商的 blob 存储服务(s3、gcs、azure blob)的阶段。这些文件不像内部阶段那样存储在 Snowflake 中，它们存储在 s3(或其他)中，您可以运行复制命令以加载到任何表中。

没有正确答案，您可以使用内部(命名或用户)或外部阶段加载到多个表中。我的偏好是使用外部阶段，这样数据就驻留在 Snowflake 之外，必要时也可以加载到其他工具中。