sql-server - 哪个 ETL 起点对于 SQL Server 集成最简单、最有效？

Question

我是 ETL 领域的新手，我正在尝试安排从另一家公司发送给我们的数据文件，以便可以将其 ETL 到数据仓库。我将通过 SQL Server 2014 上的 Integration Services 开发 ETL。基本上，我有五种类型的记录:帐户记录(与个人帐户相关的元记录)、购买记录等。

为方便起见，账户记录仅提供账户持有人的信息(姓名、账户 ID、性别等)，而购买记录显示购买历史及其金额等

我的问题是:向我们发送记录的公司问我:您希望如何安排记录？

1. Multi-header/trailer:每个header表示我们获取的记录类型(header1将是Account)
2. 多个文件(每种类型的记录将在一个单独的文件中)
3. 提及跟随的人以及属于他的记录。

例如:

Person X
Account Records....
Purchase Records...
... 
Person Y
Account Records....
Purchase Records...

Answer 1

对于将 SSIS 作为您的 ETL 工具，始终在文件中使用相同的格式。

SSIS 可以处理标题记录(因为我们可以跳过它们)。它不能处理预告片记录(因为我们的列不再一致。

1和3都违反了上面的规定。

由于 SSIS 允许您访问 .NET 框架，您可以编写所有自定义解析，然后您可以处理任何文件格式，甚至是 1 或 3，但这很少是明智的投资您公司的一部分，除非您只是与想要编写 ETL 的 .NET 开发人员同流合污。使用开箱即用的组件，直到它们不能满足手头的任务，然后使用脚本任务或组件进行补偿。当这是您的包裹的起点时，它通常充满了危险。