c# - 用 .NET 控制台应用程序 (C# .NET) 替换 SSIS 包和 ETL 程序？

Question

我想知道 Stack overflow 成员根据他们的经验和理解对以下场景的想法。

我们得到 20-30 百万条记录作为输入(输入通常是 csv 或 xls 文件，如果有帮助可以上传到数据库)我们需要处理这些记录并生成不同的文件，其中包括输出文件和错误文件.因此，基于一些业务逻辑，这些记录被移动到输出或错误文件。

目前，该流程使用 SSIS 包和一些 ETL 工具来执行该任务。这些 pkgs 和 ETL 工具本身需要 5 到 15 分钟来处理，具体取决于输入大小。

输入的数量和 SSIS 包的数量以及它们的 ETL 程序。

我们想用一些 .NET 应用程序替换那些 SSIS pkgs 和 ETL 程序。我们担心这些 .net 应用程序的速度和性能，因为 .net 中的 I/O 通常很慢。

或者有什么更好的方法来处理这个问题。

Answer 1

我们已将最简单的 SSIS 包替换为 .NET 控制台应用程序，该应用程序使用 BULKINSERT 导入数据。性能非常快。