hadoop - 使用 “declare”定义要在PIG中加载的s3 url

Question

我想使用一个声明定义一个URL，该URL将在我的PIG代码中的多个地方使用，如下所示:

 %declare OUTPUT_S3_DIR s3n://mystuff/shouldgohere/

当我这样做时，出现以下错误:

错误2999:意外的内部错误。 java.net.URISyntaxException:方案名称中索引0处的非法字符:“s3n:// mystuff / shouldgohere /”

我尝试使用所有这些:

 %declare OUTPUT_S3_DIR s3n://mystuff/shouldgohere/
 %declare OUTPUT_S3_DIR s3n://mystuff/shouldgohere
 %declare OUTPUT_S3_DIR 's3n://mystuff/shouldgohere/'
 %declare OUTPUT_S3_DIR 's3n://mystuff/shouldgohere'

当我像这样使用它时，它似乎不起作用:

rmf '$OUTPUT_S3_DIR';
STORE my_data INTO '$OUTPUT_S3_DIR' USING PigStorage(',');

我对此感到非常沮丧，因为这显然是一个简单的语法问题。

Answer 1

显然，我犯的错误是在rmf命令中。
它必须是

rmf $OUTPUT_S3_DIR;

并不是

rmf '$OUTPUT_S3_DIR';

希望别人不需要受苦...