gpt4 book ai didi

azure - 如何在管道执行之间将运行时数据存储在 Azure 数据工厂中?

转载 作者:行者123 更新时间:2023-12-03 01:27:24 25 4
gpt4 key购买 nike

我一直在关注微软的tutorial从 SQL Server 数据库增量/增量加载数据。

它使用水印(时间戳)来跟踪自上次以来更改的行。本教程使用管道中的“存储过程”事件将水印存储到 Azure SQL 数据库,以便可以在下次执行中重用。

拥有一个 Azure SQL 数据库来存储那一点点元信息似乎有点过分了(顺便说一句,我的源数据库是只读的)。我宁愿将其存储在 Azure 中的其他地方。也许在 blob 存储或其他什么地方。

简而言之:是否有一种简单的方法来跟踪此类数据,或者我们是否仅限于此使用存储过程(或 Azure Functions 等)?

enter image description here

最佳答案

我遇到过非常类似的情况,据我发现,您无法在 ADF 中存储任何水印信息 - 至少不能以您可以轻松访问的方式存储。

最后,我刚刚创建了一个基本层 Azure SQL 数据库,用于将我的水印/配置信息存储在我已在管道中使用的 SQL 服务器上。

这样做的好处是,当我的解决方案扩展到多个业务部门(所有部门都具有不同的数据库)时,我仍然可以通过简单地添加一个列来跟踪特定水印信息所属的 BU 来维护每个部门的水印信息。

Blob 存储确实是一个更便宜的选择,但我发现它比仅在现有数据库中使用附加数据库/表需要更多的努力。

我同意能够在 ADF 本身中为小型配置项维护一个小型数据集非常有用 - 可能是向 Microsoft 提出的一个很好的建议!

关于azure - 如何在管道执行之间将运行时数据存储在 Azure 数据工厂中?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/64971514/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com