hadoop - 用oozie工作流文件元素的外部文件运行Pig UDF的等效方法

Question

我的工作流程主要是养 pig 工作。

在workflow.xml中，一行<file>${hdfsPath}/hdfsLineItem.txt#LineItem.txt</file>
此文件用于其他UDF间接使用的一个UDF中，源代码段为in = new DataInputStream(new FileInputStream("./LineItem.txt"));
我无权提交oozie工作，但我可以提交养 pig 工作。
但是，我找不到与该外部文本文件一起提交清管工作的等效方法。

我将该文件复制到我的空间并运行pig myscript.pig -file LineItem.txt，但是UDF会抛出IOException。有谁知道提交养 pig 工作的等效方法？

Answer 1

用另一种方式解决我的问题。文本文件也存储在hdfs上，我修改了UDF并将其更改为

FileSystem fs = FileSystem.get(UDFContext.getUDFContext().getJobConf());
DataInputStream in = new fs.open(new Path("_hdfsPath_/hdfsLineItem.txt"));

和其余的代码是相同的。最后，我可以直接提交我的养 pig 工作。