SSIS 事务数据(不同的记录类型，一个文件)

Question

有趣的是，我们正在评估 ETL 工具，用于预处理用于打印的报表数据(例如水电费账单、银行对账单)。

一些数据来自单个平面文件，具有不同的记录类型。

例如第一个字段为“01”的记录类型将是地址数据。这将具有名称和地址字段。带有“02”的记录类型将是汇总数据，包括余额和总计。记录类型“03”将是报表中的一个项目。

每个语句将有一个 01 和 02 记录，以及多个 03 记录。我可以预先解析文件并拆分为 3 个文件以加载到表中，但这并不理想。

我们获取文件并对其进行一些操作(例如，在地址记录中添加更多字段，并可能进行一些总计/验证)，然后以几乎相同的格式发送文件(但使用添加的额外字段)到我们的打印合成程序中。

您将如何在 SSIS 中执行此操作？

Answer 1

SSIS 中变体记录的最大问题是您无法获得连接管理器帮助布局的任何好处，因为连接管理器只能处理单个布局。

因此，通常情况下，您最终会得到一个包含两列的 CRLF 终止的平面文件:recordtype 和 recorddata。然后将条件拆分放入并解析不同路径上的每种类型的行。解析将不得不拆分剩余的记录数据并将其放入列中并正常转换，可以使用派生列转换或脚本转换以及可能的转换转换。

如果你有很多包要做，我会认真考虑编写一个自定义组件，它产生 3 个输出已经转换为你的目标类型。