Azure 数据工厂与 SSIS

Question

我正在考虑将我们的 SSIS ETL 迁移到 Azure 数据工厂。我支持这种飞跃的论据是:

• 我们的来源和目标已经在云端。 ADF 是云原生的，因此看起来很适合。

• ADF 是一项服务，因此我们可以按需使用并付费。 SSIS 意味着许可成本，并且不会自然地用于按需消费(我们考虑使用 DevOps 临时运行 ETL 服务器)

• 使用 SSIS 以编程方式生成 ETL 代码需要非常具体的技能，例如 BIML 或 DTS API。通过迁移到 ADF，我希望 JSON 与 USQL 中的 TSQL 和 C# 的结合将使必要的技能更加通用。

我希望社区成员能够分享他们的经验，从而帮助我做出决定。

Answer 1

这篇旧帖子的答案已经过时了。我的以下评论与 ADF 版本 2 相关。

首先，ADF 能够运行 SSIS 包，因此将旧的 ETL 流程移至此处并逐步移至 ADF 不仅是可能的，而且是推荐的。您不想用每一项新技术的出现来改变一切。然后，您只能对 ADF 事件实现新的或修改后的 ETL 流程。

其次，虽然可能还没有完全实现，但使用 ADF 数据流，您可以进行可以使用 SSIS 进行的转换。虽然还有一些缺失的地方，但大部分常用的功能都已经有了。

ADF 创作不需要 Visual Studio。它确实需要特定的技能，但我发现学习曲线并不陡峭。在某些领域，文档和最佳实践仍然有点缺乏，但是对于已经在数据库/数据仓库架构和 ETL 方面有经验的人来说，会发现它相对容易。它最好的一点是，大多数事情都可以直观地完成，而不会弄乱代码(只是简单的 JSON)。

此外，ADF 与 Azure Devops 集成并使用 Git 进行版本控制。因此您可以免费获得变更管理。

对于更高级的需求，您还可以使用 Java (Scala) 或 Python 运行 Databricks 事件，与 Hadoop(Hive 和 Pig)和 Spark 集成。

最后，ADF 包含了您必须在 SSIS 中自行构建的监控和诊断工具。您可以更轻松地查看哪个事件失败以及错误是什么。