java - 如何从java上传jar文件到ooyala-spark作业服务器

Question

目前我们可以通过命令行中的以下curl命令将jar上传到ooyala-spark作业服务器:

$curl --data-binary @job-server-tests/target/job-server-tests-0.4.0.jar localhost:8090/jars/test

我想通过java代码而不是curl命令上传相同的内容。我尝试使用许多 HTTP/Apache Rest 客户端，但无法成功提交 jar。

ooyala-spark 作业服务器的 URL - https://github.com/ooyala/spark-jobserver

Answer 1

您可以使用this 。这是一个不错的库，它可以帮助您从 java 代码提交作业。

你可以这样做:

  ISparkJobServerClient client = null;
    try {
        client = SparkJobServerClientFactory.getInstance().createSparkJobServerClient("http://ip:8090/");

        Map<String, String> jobParams = new HashMap<String, String>();
        jobParams.put(ISparkJobServerClientConstants.PARAM_APP_NAME, "job-name");
        jobParams.put(ISparkJobServerClientConstants.PARAM_CLASS_PATH, "com.spark.job.WorldCountExample");

        SparkJobResult result = client.startJob("param1=\"data1\", param2=\"data2\"", jobParams);

        SparkJobResult jobResult = client.getJobResult(result.getJobId())

    } catch (SparkJobServerClientException e) {
        System.out.println(e)
    }finally {
        if (client != null) {
            client.stop();
        }

注意，这是一个异步作业。