java - 从当前 livy session 访问数据文件

Question

我有一个以 YARN 模式在 Hadoop 上运行的 Spark 集群。我已将 Livy 服务器配置为交互并将客户端 spark 作业提交到 spark 集群。我将一个数据文件连同 jar 从 java 程序上传到 Livy，它被上传到 HDFS 的 .livySessions 文件夹中。

LivyClient client = new LivyClientBuilder(true).setURI(new URI("http://191.111.123.11:8998")).build();
client.uploadFile(new File("/C:/HAL/kmeans_data.txt")).get();
Object str = client.uploadJar(new File("/C:/Users/msingh/livy-spring-app-1.3.6.RELEASE.jar")).get();

我应该如何配置我的程序以从当前 Livy session 中读取数据文件以执行。

Answer 1

您可以使用 SparkFiles.get () 从您的 spark 作业中获取这些文件。尝试让我知道。