azure-data-factory - azure 数据工厂中的 polybase 和批量插入、复制方法有什么区别以及何时使用它们？

Question

有人可以详细说明在 azure datafactory 中何时使用 Polybase 与批量插入，这两种复制方法有什么区别？

Answer 1

这两个options标记为“Polybase”和“COPY 命令”仅适用于 Azure Synapse Analytics(以前称为 Azure SQL 数据仓库)。它们都是快速加载方法，涉及在 Azure 存储中暂存数据(如果尚未在 Azure 存储中)，并且使用快速、高度并行的方法从存储加载到每个计算节点。尤其是在大型表上，这些选项因其可扩展性而受到首选，但它们确实存在一些限制，如上面的链接所述。

相比之下，在 Azure Synapse Analytics 上，批量插入是一种较慢的加载方法，它通过控制节点加载数据，并且并行性或性能不高。在大文件上速度要慢一个数量级。但它在数据类型和文件格式方面可能更宽容。

在其他 Azure SQL 数据库上，批量插入是首选且快速的方法。