sql-server - SSIS::如何在不使用 SCD 向导的情况下在 SSIS 中实现 SCD 类型 2。当传入数据集对同一业务 key 有多个记录时

Question

在 SSIS 中，如果传入的数据集对同一个业务 key 有多个记录，我如何在不使用 SCD 向导的情况下将其加载到具有 SCD 类型 2 的维度表。

样本数据集

Customer ID   Name      Segment     Postal Code
1             James     Corporate   50026
2             Andrew    Consumer    33311
3             Steven    Consumer    90025
2             Andrew    Consumer    33306
3             Steven    Consumer    90032
1             James     Corporate   50087
3             Steven    Consumer    90000

在我的例子中，如果我尝试使用其他 SSIS 组件(查找/条件拆分)加载维度表，所有记录都会在表中显示一个新行，因为它们都是同时进入的。

我将“CurrentFlag”作为当前记录的指示符。

在 SSIS 中，如果我有一个传入数据集，其中包含同一业务键的多个记录，我如何识别这些记录，并根据需要设置 CurrentFlag，无论目标表中的记录是否具有该业务键已经？

谢谢。

Answer 1

好的，这是一个巨大的简化，因为 SCD 的正确实现非常具有挑战性。你需要坐下来批判性地思考这个问题。我在下面的回答仅处理正在进行的日常处理 - 它没有解释如何处理正在重新处理的历史文件，这可能会导致具有不同有效开始和结束日期的重复记录。

根据定义，您将拥有一个现有的记录源组件(即从数据库表中查询)和一个传入数据源组件(即一个 *.csv 平面文件)。您将需要执行合并连接来识别新记录与现有记录。对于现有记录，您需要确定是否有任何列已更改(在派生列转换中执行此操作)。

您还需要包括 EffectiveStartDate 和 EffectiveEndDate 两列。

IncomingEffectiveStartDate = FileDate
IncomingEffectiveEndDate = 12-31-9999
ExistingEffectiveEndDate = FileDate - 1

关于 12-31-9999 的注释:这实际上是 Y10K 漏洞。但是，它允许用户在日期范围之间查询数据库，而无需在查询的日期范围之间有意识地在查询的 WHERE 子句中添加 ISNULL(GETDATE())。

这将防止列中的日期重叠，这可能会导致针对给定日期返回多条记录。

要确定记录是否已更改，请创建一个名为 RecordChangedInd 的 Bit 类型的新列。

(ISNULL(ExistingColumn1, 0) != ISNULL(IncomingColumn1, 0) ||
 ISNULL(ExistingColumn2, 0) != ISNULL(IncomingColumn2, 0) ||

....

ISNULL(ExistingColumn_N, 0) != ISNULL(IncomingColumn_N, 0) ? 1 : 0)

然后，在您的拆分条件下，您可以创建两个输出:RecordHasChanged(这将是一个 INSERT)和 RecordHasNotChanged(这将是一个 UPDATE 以停用现有记录和插入)。

可以想象，您可以将两个输入路由到同一个 INSERT 目标。但是，您需要小心禁止更新记录的 ExistingEffectiveEndDate 值停用日期。