gpt4 book ai didi

c# - 如何从 Azure 数据工厂在 Databricks 上运行 .Net spark 作业?

转载 作者:行者123 更新时间:2023-12-05 05:00:05 26 4
gpt4 key购买 nike

在 Azure 数据工厂中,你有一个 Databricks Acvitiy。此事件支持运行 python、jar 和 notebooks。这些笔记本可能是用 scala、python、java 和 R 而不是 c#/.net 编写的。

我可以编写 .NET spark 代码并在数据工厂的 Databricks 上运行它吗?有内在或直接的支持吗?

我能否在 Azure Databricks 中充分使用 .NET spark?

最佳答案

您指定要启动一个 JAR 文件。 .NET for Apache Spark 项目使用 JAR 文件启动监听器,然后 .NET 代码连接到该监听器。

JAR 为 microsoft-spark-2.4.x-0.12.1.jar(取决于 spark 版本和 .NET NuGet 版本)。要运行的类是 org.apache.spark.deploy.dotnet.DotnetRunner,您需要将正确的参数传递给它,以便它启动您的 .NET 应用程序。

埃德

关于c# - 如何从 Azure 数据工厂在 Databricks 上运行 .Net spark 作业?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63260908/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com