gpt4 book ai didi

apache-spark - 将 Spark 应用程序与 Web 服务器连接

转载 作者:行者123 更新时间:2023-12-04 04:47:51 27 4
gpt4 key购买 nike

我将尝试解释我的简化用例。有:

  • Spark 应用程序其中计数的话。
  • 提供带有表单的网页的 Web 服务器。
  • 可以在此表单中输入单词并提交的用户。

  • 服务器接收到单词并将其发送到 Spark 应用程序。
    Spark 应用程序将这个词作为输入,基于一些数据,这个词通过重新计算启动一个作业。 Spark 完成计算后,会将结果发送到 Web 服务器,该服务器在网页上显示结果。

    问题是,我如何在 Spark 应用程序和网络服务器之间建立通信?

    我想, spark-jobserver 或 spark-streaming 可以在这里帮助我,但我不确定。

    最佳答案

    有一些项目可以帮助您解决这个问题。

    通常,您运行一个单独的网络服务器来管理 spark 作业,因为在 spark-submit cli 周围有一些困惑的 systemExec 工作来完成此操作。显然,它运行在与主应用程序不同的端口上,并且只能由主 Web 应用程序的服务器组件访问。

    有一些开源项目可以为您处理这个问题:

    https://github.com/spark-jobserver/spark-jobserver

    https://github.com/cloudera/livy

    关于apache-spark - 将 Spark 应用程序与 Web 服务器连接,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37890514/

    27 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com