sql-server-2008 - 提取SSIS中的不同记录

Question

我正在编写SSIS包，以将数据从* .csv文件导入到SQL 2008 DB。问题是该文件之一包含csv文件中的重复记录，我只想从该源中提取不同的值。请参见下图。

不幸的是，生成的文件不受我的控制，并且归第三方所有，因此我无法更改它们的生成方式。

我确实使用了LookUp组件。但是，它仅根据传入数据检查现有数据。它不会检查传入数据中的重复记录。

Answer 1

取决于您要认真对待重复项的程度。您是否需要记录重复的记录，还是足以消除重复的记录？排序组件将消除排序字段上的重复项。但是，dump的其他字段中的数据可能不同，因此您需要不同的策略。通常，我将所有内容加载到临时表并从那里进行清理。我将删除的重复对象发送到异常表(我们必须回答客户的很多问题，为什么事情与发送的结果不匹配)，并且我经常使用一组业务规则(并使用执行SQl或数据流程以执行规则)，以确定在一个区域中是否有重复项而在另一个区域中没有重复项的情况下，选择哪个选项(例如，当我们只能存储1个时，说两个营业地址)。我还确保客户知道我们如何确定从哪两个中挑选。