hadoop - 使用 piggybank 和 AvroStorage 解决 EMR 问题

Question

我在 EMR 上运行一个 pig 脚本，它读取以 Avro 格式存储的数据。它一直在本地工作，但为了让脚本的其他部分在 EMR 上工作，我不得不将我使用的 piggybank.jar 恢复为 0.9.2 而不是 0.10.0。进行该更改后，AvroStorage 静默地无法读取任何数据并仅返回零记录。日志或任何内容中均未提及。这是脚本:

REGISTER ../../../lib/avro-1.7.0.jar                                                                    
REGISTER ../../../lib/json-simple-1.1.1.jar                                                             
REGISTER ../../../lib/jackson-core-asl-1.5.2.jar                                                        
REGISTER ../../../lib/jackson-mapper-asl-1.5.2.jar                                                      
REGISTER ../../../lib/piggybank.jar                                                                     
a = LOAD '/data/' USING org.apache.pig.piggybank.storage.avro.AvroStorage();
DUMP a;

同样，如果 piggybank.jar 是 0.10.0 版，它就可以工作。如果是 0.9.2 版本，则不会。我应该使用任何其他库的不同版本吗？我尝试使用 avro-1.5.3.jar，但也没有用。

另一个注意事项:如果我执行 describe a; 它会正确输出架构。

Answer 1

您可能已经考虑过这一点 - 但如果您将 pig 脚本中依赖于 0.9.2 的部分更改为适用于 0.1.0，可能会更快。