apache-spark - 使用 Livy 上传 Python 脚本

Question

我正在尝试找到一种在 spark 服务器上使用 Livy API(或客户端) 推送 python 脚本的方法。我尝试了以下内容。

1. curl -X POST --data '{"file": "/user/test/pi.py"}' -H "Content-Type: application/json" localhost:8998/batches

，但是当我 查看它提供的日志，因为它正在尝试查找，所以找不到文件 服务器上的路径。

1. 使用 Livy Python 客户端。

r = client.upload_pyfile("/tmp/code/test.py")

，这会返回一个 future 对象，但未创建批处理，(我什至不确定 它上传到的文件路径)。

基本上我想要的是-

1. 能够在Spark服务器上通过API上传文件使用 Livy。

2. 提交批处理/运行触发器。使用 Livy。

Answer 1

使用 Livy JAVA 客户端，我可以做到同样的事情。我已将 jar 上传到 Livy 服务器并提交 Spark JOBS。

您可以引用下面的链接。 https://livy.incubator.apache.org/docs/latest/programmatic-api.html

注意事项:1.等待livy客户端成功上传jar/文件。2. jar/文件应该在livy服务器或livy服务器可以访问的HDFS中可用。