sql - Snowflake 或 Azure 数据工厂中的转换？

Question

我是 Snowflake 的新手，如果答案显而易见，请原谅我。

我正在使用数据工厂将数据从本地加载到 Azure，然后使用 COPY INTO 将数据摄取到 Snowflake。但是，我需要启用对其他平台的一些转换数据的访问，这意味着如果我在 Snowflake 中执行转换，我将需要在 Azure 中创建一个外部表(实质上是将这些数据推回 Azure，以便其他平台可以访问它)。

由于我们不是特别想引入新工具，因此对于我们相当基本的转换，我有两个选择:

1. 在 ADF 中进行转换
2. 使用 SQL 脚本在 Snowflake 中进行转换，然后创建一个外部表，以便其他团队可以使用其他工具访问数据(这些平台未与 Snowflake 集成)

除了增加存储成本外，选项 2 是否有任何主要缺点？

我正在尝试权衡以下因素:维护工作(我们团队的技能在于 SQL 而不是 ADF)、成本和性能。

如有任何建议，我们将不胜感激。

Answer 1

如问题中所述，这种情况有很多可能的答案 - 我最喜欢的是第二个(“在 SQL 脚本中对 Snowflake 进行转换，然后创建一个外部表，以便其他团队可以访问使用其他工具的数据").

如果您需要在 Azure 存储上提供这些转换的结果，Azure 数据工厂原生支持:

• 使用 Snowflake 的 COPY 从 Snowflake 复制数据到 [location] 命令以获得最佳性能。 https://learn.microsoft.com/en-us/azure/data-factory/connector-snowflake#supported-capabilities

或者您可以使用 ADF 使用的相同 COPY INTO 在 Snowflake 中管理它。

让我添加一些来自 Snowflake 网络研讨会“数据仓库还是数据湖？如何在一个平台上同时拥有两者”的截图:

https://resources.snowflake.com/webinars-thought-leadership/data-warehouse-or-data-lake-how-you-can-have-both-in-a-single-platform-3