java - 通过 http 运行 livy 作业而无需每次都上传 jar

Question

我正在研究 Livy/Spark，但对如何使用其中的一些内容感到有些困惑。在构建上传到 spark 的作业的 livy 示例文件夹中有一个示例。我喜欢正在使用的接口(interface)，但我想通过 http 连接到 livy/spark，因为我没有 java 客户端。这样一来，如果我使用 livyclient 上传 jar，它似乎只存在于该 spark session 中。有没有办法将 livyjobs 上传到 spark，然后让它在所有 spark 中持久存在？在 Spark 中制作这些作业/应用程序会更好吗？

老实说，我正在尝试找出最好的方法。我希望能够通过 shell 进行交互，但我也想为我经常使用的 spark 中不可用的算法创建自定义作业。我不确定我应该用什么方式来解决这个问题。有什么想法吗？我应该如何使用 Livy？就像其他服务激发 Spark 然后处理在 Spark 中构建自定义应用程序/方法一样？

例如:

假设我有一些 javascript 应用程序，我有一些可以加载的数据，我想在上面运行算法 x。算法 x 是否在 spark 中实现或未在 spark 中实现，但通过按下该按钮，我想将该数据放入 spark，无论是放入 hdfs 还是从 elasticsearch 或其他任何东西中提取。如果我有 livy，我想在 livy 中调用一些 rest 命令来执行此操作，然后它会运行该特定算法。执行此操作的标准方法是什么？

谢谢

Answer 1

Livy 尚不支持文件上传。您必须为 session 或批处理作业提供有效的文件路径。这些文件必须在 HDFS 中。因此，主要是您可以将脚本或文件保存在 HDFS 中，然后使用 Livy 启动引用这些文件的批处理/交互式作业。

李维 - Cloudera

李维 - Apache

编辑:Livy 正在由 Apache 孵化，他们计划添加一个新的 API 来支持资源上传。检查this .