biztalk - 在 Biztalk 2006 中从非常大的 CSV 文件导入少量记录

Question

我有一个 Biztalk 项目，它导入传入的 CSV 文件并将其转储到数据库表中。导入工作正常，但我只需要从一个超过一百万行的文件中保留大约 200-300 条记录。我的编排丢弃了这些行，但问题是我导入的平面文件仍然是 250MB，当使用常规平面文件管道转换为 XML 时，需要几个小时来处理，有时会导致服务器耗尽内存。

我可以做些什么来让自定义管道本身丢弃我不关心的行吗？每个 CSV 行中的第一项是几个字符串之一，我只想保留以某个字符串开头的行。

感谢您提供的任何帮助。

Answer 1

自定义管道组件肯定是最好的解决方案；但它需要在反汇编器组件之前的解码阶段执行。

使其 100% 支持流式处理会很复杂(但肯定可行)，但根据生成的修剪后的 CVS 文件的大小，您可以在自定义组件运行后立即预处理整个输入文件，或者如果结果很小，则在内存中(在 MemoryStream 中)生成结果，或者将它们写入文件，然后将生成的 FileStream 返回到 BizTalk 以从那里继续处理。