csv - Hadoop Pig-简单加载中的EOF异常

Question

我正在研究14个csv文件项目。其中有10个正确装入 pig 中。 4不要。

当我精确调整架构中的列类型时，就会发生此问题:如果我加载具有列名的文件，但没有类型转换(即:所有列默认为'bytearray')，则我没有问题:数据被加载。

但是，如果我精确化了列类型(并且我只要求'chararray')，则会收到“EOF”异常错误。当字段在列中为空时，错误似乎随机出现。
奇怪的是，相同的文件可以完美地加载而无需类型转换，并且如果我精确化了'chararray'转换也将无法加载。此外，我可以在其他csv文件中加载空列(有或没有强制转换列)。

这可能是什么原因？

我在某处读到，配置单元环境配置可能会使 pig 弄乱。我正在使用Yarn，Mesos，Docker，Marathon:那里有干扰吗？
(但在全局范围内，当我仅在本地模式下使用grunt时，就会发生错误)。

Answer 1

我终于发现我已经激活了pig.schematuple选项，这是一个实验性选项，并创建了一个错误:当列数超过9时，文件不会加载，并且单元格为空(如果有，则加载空单元格)少于9列)。

在实验中损失了2个工作日:-s