SSIS；比写代码好吗？

Question

我有一个 ETL 项目，它有很多需要清理的数据。我们正在谈论许多复杂的转换。该过程需要每晚进行，并且必须在一定时间(10 小时)内完成。为此，ETL 最好使用系统上的所有处理器内核。

哪个更适合在多处理器环境中执行复杂的 ETL 转换:

安全信息系统

或者

Dot Net Framework 4(让我证明这一点。我可以使用 Entity Framework 和并行任务编写和应用程序来执行所需的复杂数据转换。编写应用程序来执行 ETLing 不是问题，但是我正在尝试使用 最好的工具 来完成这项工作。)

我知道这是一个不公平的问题； SSIS 是一项技术而 dot net 是一个框架，但仍然......

Answer 1

是的，使用 SSIS 是一件苦差事，我使用它的每个项目都让我惊讶于它比预期花费的时间长。公平地说，我认为大多数问题的解决方案最终都可以使用 中的任何一个来设计。如果有足够的时间 .

使用任一工具通常需要在每个项目中进行一些研究和学习。学习 .NET 让我受益匪浅。挣扎于零散的变通方法和神秘的代码黑客以使 SSIS 工作让我感到泄气。

在软件编码中，还有什么比读取和写入内存中的变量更基本的呢？在任何语言中它可能有多复杂？在执行这样一项基本任务时，对什么、何时、何地有多少限制？要找到答案，请在 Internet 上搜索短语“ssis write to variables in script”。 SSIS 将复杂性提升到一个全新的水平，即使是最简单的操作!如果您必须在数据流任务中写入包变量，上帝会帮助您。