azure - Azure Synapse Link 是在数据仓库中加载数据的好方法吗？

Question

Azure Synapse Analytics 是 Azure 的数据仓库解决方案。

有3种方式将数据加载到仓库中:

1. 复制声明

2. PolyBase

3. 批量插入

加载数据最快且最具可扩展性的方法是通过 COPY 语句或 PolyBase。

但是现在也可以通过 Synapse Links 加载数据。这允许近乎实时的数据。

但我没有看到任何文档提到在传统数据仓库中使用 Synapse Links 进行分析。

documentation 中的用例是:

• 供应链分析、预测和报告
• 实时个性化
• 物联网场景中的预测性维护、异常检测

哪些用例需要实时数据。

我不需要近乎实时的数据。因此我认为“Synapse Link”对于传统的数据仓库解决方案有一些缺点。

有人可以告诉我他们在传统分析数据仓库中使用“Synapse Link”的知识吗？

提前致谢

Answer 1

对于“传统数据仓库解决方案”，我假设您有 ETL 流程，每天加载/刷新您的 DWH 一次。

Synapse Link 是将 Cosmos DB 或 Dataverse 数据导入到连接到 Synapse 的数据湖的一种非常方便的方法。它的“实时”部分不应该打扰您，因为您始终可以使用批处理作业(数据流)定期将数据从数据湖加载到数据仓库中。

借助 Synapse Link，您可以节省时间和开发工作，将数据从 Cosmos DB 或 Dataverse 正确引入您的分析环境。这对我们来说非常有用。