hadoop - Apache pig 错误 org.apache.pig.backend.hadoop.executionengine.Launcher - 错误 : org. apache.avro.file.DataFileWriter$AppendWriteException:

Question

我正在尝试加载一些数据，按特定字段过滤并将输出存储到 HDFS。我的代码如下所示:

data = LOAD '$inputPath' using AvroStorage();
data = FILTER data by condition;
STORE data INTO '$outputPath'using AvroStorage('schema', '$SCHEMA');

但我收到一条错误消息:

 ERROR org.apache.pig.backend.hadoop.executionengine.Launcher - Error: org.apache.avro.file.DataFileWriter$AppendWriteException: java.lang.NullPointerException: null of int of int in field id of com.stackoverflow.id

有人可以建议什么地方可能是错的吗？我猜这是因为从 HDFS 读取的某些字段为空，而 AvroStorage 不允许这种情况发生？感谢您的任何建议!

Answer 1

您的 avro 架构正在定义一个不允许为 null 的字段，但您的数据包含一个 null。