gpt4 book ai didi

azure - 如何强制 Azure 数据工厂数据流使用 Databricks

转载 作者:行者123 更新时间:2023-12-02 06:29:19 26 4
gpt4 key购买 nike

我正在使用 Azure 数据工厂及其新的数据流功能。这是一个 GUI,应该使用 Databricks 进行数据转换,无需编写任何代码。

到目前为止一切都很好。我有一些有效的例子。我的输入数据(来自 Azure Blob)已正确转换并连接以创建输出(在 Azure SQL 中)。

问题是我没有 Databricks 资源。我删了它。我还删除了数据工厂到 Databricks 连接器。但我仍然得到了正确的答案!

我怀疑我的输入集太小,或者我的转换太简单,因此数据工厂只是在内部处理它们,并且知道它不需要 Databricks 的强大功能。但是我必须做什么才能强制数据工厂使用 Databricks?我想测试有关该操作的一些事情。

另一种可能性是数据工厂正在使用Databricks,但使用的是自己的Databricks资源而不是用户......??

最佳答案

Azure 数据工厂数据流始终在后台 Databricks 上运行。您无法强制(或禁用)使用 Databricks。

在早期的私有(private)预览版中,您必须配置并自带自己的 Databricks 集群。后来进行了更改,从 2019 年 5 月开始,Azure 数据工厂将为你管理集群。

(我听说他们计划在某个时候重新实现自带集群功能,但我还没有看到公开证实。)

如果您打开数据流 Debug模式或使用数据流任务执行管道,您将按 vCore 小时的集群使用量付费。您可以在 Data Pipeline Pricing and FAQ 中找到所有详细信息.

关于azure - 如何强制 Azure 数据工厂数据流使用 Databricks,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56085286/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com