sql - 与 CTAS 相比，CREATE EXTERNAL TABLE 的优缺点是什么？

Question

我正在尝试构建一个 Azure 数据工厂管道，用于从 Azure 数据湖获取数据并进行转换。

我想将转换后的数据存储在 Azure SQL 数据仓库中(作为事实和维度)。

我最终提出了两种解决方案来使数据在仓库中可用:

1. 使用CREATE EXTERNAL TABLE并引用 .csv 文件中 Lake 中转换后的数据；
2. 使用CTAS将 .csv 文件从 Lake 复制到 Warehouse；

问题

我不清楚其中的权衡是什么。一方面，在我看来，第一个选项避免了复制到仓库(是吗？)。但第二个选项将提供更多选项，例如索引。

与 CTAS 相比，CREATE EXTERNAL TABLE 的优缺点是什么？

Answer 1

将数据放入 DW(使用 CTAS)的主要好处是针对该数据的后续查询将显着加快。您将获得跨节点和分布的完整数据分布。任何过滤或连接表的查询都会大大加快。

正如您所指出的，缺点是您现在正在存储数据的另一个副本...假设您在摄取文件后不会从数据湖中删除该文件。

将创建外部表视为简单地提供外部文件到 SQL 数据结构的映射。