流集:SpoolDIR_01 无法处理文件

Question

您好，我正在尝试运行一个管道来处理一个非常大的文件(大约 400 万条记录)。每次它达到大约 270、000 时都会失败，然后停止处理更多记录并返回此错误。

'/FileLocation/FiLeNAME..DAT' at position '93167616': com.streamsets.pipeline.lib.dirspooler.BadSpoolFileException: com.streamsets.pipeline.api.ext.io.OverrunException: Reader exceeded the read limit '131072'.

如果有其他人遇到过类似的问题，请帮忙。谢谢

我已经检查了停止管道的线路，但那里似乎没有什么明显的地方。尝试了另一个文件，但仍然无法正常工作。

'/FileLocation/FiLeNAME..DAT' at position '93167616': com.streamsets.pipeline.lib.dirspooler.BadSpoolFileException: com.streamsets.pipeline.api.ext.io.OverrunException: Reader exceeded the read limit '131072'.

Answer 1

看起来您正在达到最大记录大小。设置此限制是为了防止格式错误的数据导致“内存不足”错误。

检查您的数据格式配置并根据您使用的数据格式增加最大记录长度、最大对象长度、最大行长度等使用。

参见 Directory Origin documentation了解更多详情。请特别注意，如果您正在解析的记录大于 1048576 字节的系统范围限制，您可能必须编辑 sdc.properties。