gpt4 book ai didi

c# - Hadoop/Spark 上 .NET 场景模拟(DAG 作业)的分布式计算

转载 作者:可可西里 更新时间:2023-11-01 14:46:59 28 4
gpt4 key购买 nike

我目前正在研究一种使用 Hadoop 或 Spark 在集群上运行 .NET DAG 作业(场景模拟)的方法。在这两种情况下,我都遇到了有关代码语言的问题。

如果发现 Spark 支持用以下语言编写的代码:Scala、Python、Java 和 R,但不支持 .NET。Hadoop 确实支持在 .NET 中编写作业,但是我没有在 .NET 上找到 Hadoop 的 DAG 实现。

有没有办法使用 .NET 编程语言在集群/云上实现作业的 DAG?

最佳答案

Apache Spark 的 C# 语言绑定(bind)现在可通过 SparkCLR ( https://github.com/Microsoft/SparkCLR ) 获得。您可以使用它在 Spark 集群中运行您的 .NET 作业。

关于c# - Hadoop/Spark 上 .NET 场景模拟(DAG 作业)的分布式计算,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31133460/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com