python - 使用按需 HOT Insight 集群从 Azure 数据工厂 V2 访问数据湖

Question

我正在尝试使用 Azure 数据工厂从按需 HD Insight 集群执行 Spark 作业。

文档清楚地表明，ADF(v2) 不支持按需 HD Insight 集群的数据湖链接服务，并且必须将数据从复制事件复制到 Blob 上，然后执行作业。但如果数据湖上有十亿个文件，这种解决方法似乎会耗费巨大的资源。是否有任何有效的方法可以从执行 Spark 作业的 python 脚本或任何其他方式直接访问文件来访问 datalake 文件。

P.S 是否有可能从 v1 做类似的事情，如果是的话怎么做？ “使用 Azure 数据工厂在 HDInsight 中创建按需 Hadoop 集群”描述了访问 Blob 存储的按需 Hadoop 集群，但我想要访问数据湖的按需 Spark 集群。

提前致谢

Answer 1

目前，我们在 ADF v2 中不支持使用 HDI Spark 集群的 ADLS 数据存储。我们计划在未来几个月内添加这一内容。在那之前，您将必须继续使用您在上面的帖子中提到的解决方法。很抱歉给您带来不便。