gpt4 book ai didi

Apache Beam 中对 SparkRunner 的 Python 支持

转载 作者:太空宇宙 更新时间:2023-11-03 13:32:50 25 4
gpt4 key购买 nike

是否支持使用 Apache Beam 和 SparkRunner 运行 Python 程序?

文档似乎没有:https://beam.apache.org/get-started/wordcount-example/#apache-spark-runner

当我查看 API 引用时 https://beam.apache.org/documentation/sdks/pydoc/0.6.0/apache_beam.runners.html我在那里找不到任何关于 SparkRunner 的提及。

我相信有对 Java 的提及和支持,但我想知道是否有 python 支持?

最佳答案

目前不支持在 Apache Spark 上运行使用 Apache Beam 的 Python SDK 构建的管道。但是,这项工作正在进行中,体现在 Apache Beam 可移植性框架中。

敬请期待——这应该会很快推出!

关于Apache Beam 中对 SparkRunner 的 Python 支持,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43923776/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com