sql - 循环 200 万条记录并根据每行中的特定条件生成一组更新或插入的最佳性能

Question

我目前正在使用 SSIS 2012 进行大型数据迁移练习。

我有一项任务要完成但不确定最佳方法。

表 A 有 210 万条记录。

我需要遍历每一行并且:

第 1 步。使用执行某些文本操作的复杂子查询的结果更新特定字段

第 2 步。从 TableA 行的电子邮件字段中获取电子邮件地址
2a.查找用户表
2b.如果电子邮件存在，获取 ID 并更新 TableA 行中的 UserId
2c.如果电子邮件不存在 - 将新记录插入 User 表，取回 ID 并更新 TableA 行中的 UserId

第 1 步和第 2 步不必同时完成，这些任务可以拆分为单独的数据流，因为它们不相关。

我可以使用游标来写这一切——非常简单，但我知道使用游标的一般规则是不受欢迎的。

我已经为上面的第 1 步编写了一个纯 sql 脚本，使用了新的 MERGE 函数。它使用的子查询调用一个 View ，该 View 又使用缩放器函数来执行一些复杂的文本操作。在通过 SSIS 运行 1 小时 12 分钟后，由于 tembDB.log 磁盘空间不足，SSIS 被炸毁。

不确定是我的查询导致了 tembDB 失控还是之前运行的 SSIS 包中的其他原因？我怎么知道？

那么有没有人对 SSIS 中实现上述第 1 步和第 2 步的最佳工具有任何提示？

Answer 1

我想知道是什么限制了您使用 SSIS 而不是原始 SQL。这是一次性的工作，而不是常规的数据馈送吗？如果它是一次性的，我很想将源数据拉入目标数据库(或同一服务器上的单独暂存数据库)的暂存表中，并在那里做复杂的事情。 SSIS 非常适合重复、定期的数据馈送；如果这不是必需的，那么我会使用 SQL。

(TBH 我还没有探索 SSIS 的一些更高级的功能，行级操作)。

您可以将第 2 步拆分为两个 SQL 语句，在不同的集合上运行:

a. 确实存在电子邮件的行集；

b. 电子邮件不存在的行集

甚至在开始之前就对行进行“分类”，而不是对每一行进行“分类”；仔细检查你的两组是否覆盖了整张 table 。如果您更喜欢 SSIS，则可以在 SSIS 中的单独数据流中执行此操作(只要您的源数据库允许您针对它运行 SQL，而不是仅仅将整个表转储到其中)。