sql - 从 SSIS 中加载的数据集中过滤掉重复项

Question

我正在 SSIS 中进行一些 ETL 来构建一些维度数据集。其中之一是约会。为维度生成一组日期时，我可以对日期维度中已有的内容进行查找，并重定向任何失败的日期，这些日期被假定为新日期，然后添加到表中。

问题是我得到的数据集本身可能包含重复的日期。当插入维度表时，这将导致唯一日期键出现错误。因此，我正在寻找一种方法来过滤 SSIS 管道中加载的数据集。

我可以在初始加载日期时使用 DISTINCT，但本例中的日期是 DATETIME。稍后我需要使用数据转换，只需获取日期组件即可将其转换为日期。我正在寻找独特的日子，而 DATETIME 上的独特日期不会给我这样的机会。

我无法像以前那样使用 SSIS 查找，因为这需要一个指向数据库的连接管理器。

我可以告诉 OLE DB 目标不要使用批量插入，忽略任何错误。然而，这假设唯一的错误是重复的日期。

我对 SSIS 还很陌生，还没有找到可以让我与集合中的其他行进行比较的转换工具。

Answer 1

您可以使用排序转换并选择删除重复项，也可以使用聚合转换并仅使用分组依据(这或多或少类似于 DISTINCT)。请注意，这些操作是异步的，这意味着所有行在继续之前都必须进入此任务，这与同步任务相反，同步任务只是在行进入时吃掉并吐出行的缓冲区。