java - 如何使用 livy 提交带有关键字参数的 jar？

Question

我正在使用 livy(post/batches) 提交带有关键字参数的 jar。

例如:

spark-sumbit \
    --class xxx \
    --master xxx \
    --conf xxx=aa \
    my_test.jar --arg1 <arg1> --arg2 <arg2>

在 livy(post/batch) 中，我该怎么做？李维支持这个吗？

Answer 1

您可以按照这种格式wjile POST

{ "file": "xxx.jar", "className": "xx", "args": ["xx"], "conf": { "spark.jars.packages": "com.amazonaws: aws-java-sdk-bundle:1.11.199,org.apache.hadoop:hadoop-aws:2.9.1, "spark.hadoop.fs.s3a.signing-algorithm": "S3SignerType", "spark.ui.port ":"4040", "spark.ui.proxyBase":"/hisparklivy", "spark.driver.memory": "4g", "spark.executor.memory": "8g", "spark.executor.cores": 5, "spark.dynamicAllocation.enabled": "false", "spark.cores.max": 25}