gpt4 book ai didi

python - 与 Spark 交互的 REST API

转载 作者:可可西里 更新时间:2023-11-01 15:03:54 26 4
gpt4 key购买 nike

我正在尝试将我的 Spark 上下文与 REST API 连接起来。所以我的流程是这样的,我将请求从我的 UI-nodejs 发送到 REST API,它需要与包含所需响应的 spark 上下文(Spark 作业在配置单元表之上工作)进行交互,并将其发送回 UI 以供显示。有什么办法可以做到这一点?用户界面 <->REST API<-> Spark (HDFS)

最佳答案

您可以使用 Apache Livy .它是专门为这个用例设计的。我们过去曾用它来控制 Spark 集群上的批处理和常规作业。

关于python - 与 Spark 交互的 REST API,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47981691/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com