apache-spark - 如何使用相同的 spark 上下文并行运行多个 spark 作业？

Question

有没有办法在不同线程中使用相同的 spark 上下文并行运行多个 spark 作业？

我尝试使用 Vertx 3，但看起来每个作业都在排队并按顺序启动。

如何让它在相同的 spark 上下文中同时运行？

这是我的示例代码:

 vertx.executeBlocking(future -> {
        DataFrame dataframe = sqlContext.sql(sql);

        Row[] result = dataframe.collect();
        System.out.println("Query result for " + sql);
        LOG.info("Query result for " + sql);

        if (result == null) {               
            LOG.info("No result!");
        } else {
            for (Row row : result) {                    
                LOG.info(":::" + row.toString());
            }
        }           
        future.complete(true);
    }, res -> {
        if (res.succeeded()){
            LOG.info("Query finished");
        }else{
            LOG.info("Query failed " + res.cause().getMessage());
            res.cause().printStackTrace();              
        }
    });

Answer 1

如何使用 AsyncRDDActions ？我刚刚测试并运行两个 collectAsync 确实是并行运行的。