azure - 在Azure中通过.NET应用程序流式传输

Question

我有一个.NET可执行文件，通过它我可以在Azure HDInsight群集上的Pig中流式传输数据。我已经将其上传到我的容器中，但是当我尝试通过它流传输数据时，出现以下错误:

<line 1, column 393> Failed to generate logical plan. Nested exception: java.io.IOException: Invalid ship specification: '/util/myStreamApp.exe' does not exist!

我定义并使用以下操作:

DEFINE myApp `myStreamApp.exe` SHIP('/util/myStreamApp.exe');
outputData = STREAM inputData THROUGH myApp;

我尝试在不使用前导/的情况下进行尝试，并尝试将其限定为 wasb:///util/myStreamApp.exe并尝试将其完全限定为 wasb://myContainer@myAccount.blob.core.windows.net/util/myStreamApp.exe，但是在每种情况下，我都会收到消息，指出我的文件不存在。

This page on uploading to HDInsight指示您可以将HDInsight中 wasb:///example/data/davinci.txt的Azure Blob存储路径用作 /example/data/davinci.txt，这向我指示这些路径应该没有问题。

Answer 1

事实证明，问题是我没有在调用方方面声明依赖。我有一个控制台应用程序可以创建Pig作业:

var job = new PigJobCreateParameters()
{
    Query = myPigQuery,
    StatusFolder = myStatusFolder
};

但是我需要将对文件的依赖关系添加到 job.Files集合中:

job.Files.Add("wasbs://myContainer@myAccount.blob.core.windows.net/util/myStreamApp.exe");