java - Yarn 分布式缓存，无映射器/ reducer

Question

我无法访问 Hadoop 2.6 中分布式缓存中的文件。下面是一个代码片段。我正在尝试放置一个文件 pattern.properties，该文件位于 Yarn 的分布式缓存中的 args[0]

Configuration conf1 = new Configuration();
Job job = Job.getInstance(conf1);
DistributedCache.addCacheFile(new URI(args[0]), conf1);

此外，我尝试使用以下命令访问缓存中的文件:

Context context =null;
URI[] cacheFiles = context.getCacheFiles();  //Error at this line
System.out.println(cacheFiles);

但是我在上面提到的行中收到以下错误:

java.lang.NullPointerException

我没有使用 Mapper 类。这只是访问集群中文件的 Spark 流代码。我希望文件分布在集群中。但我无法从 HDFS 获取它。

Answer 1

我不知道我是否正确理解了你的问题。

我们有一些本地文件需要在 Spark 流作业中访问。

我们使用了这个选项:-

time spark-submit --files /user/dirLoc/log4j.properties#log4j.properties 'rest other options'

我们尝试的另一种方法是:- SparkContext.addFile()