sql-server - 将 OLTP 关系型数据库转变为数据仓库模型

Question

将数据从典型的实体关系 OLTP 数据库模型加载到 Kimball 星型模式数据仓库/集市模型中时采用的常见设计方法是什么？

• 您是否使用暂存区来执行转换，然后加载到仓库中？
• 如何链接仓库和 OLTP 数据库之间的数据？
• 在哪里/如何管理转换过程 - 在数据库中作为 sprocs、dts/ssis 包或来自应用程序代码的 SQL？

Answer 1

就我个人而言，我倾向于按以下方式工作:

1. 首先设计数据仓库。特别是，设计作为 DW 一部分所需的表，忽略任何临时表。
2. 使用 SSIS 设计 ETL，但有时使用 SSIS 调用相关数据库中的存储过程。
3. 如果 ETL 中需要任何暂存表，那没问题，但同时要确保它们得到清理。仅用作一系列 ETL 步骤的一部分的临时表应在这些步骤完成后被截断，无论成功与否。
4. 我让 SSIS 包引用 OLTP 数据库，至少将数据拉入临时表。根据情况，他们可以将 OLTP 表直接处理到数据仓库中。所有此类查询均执行WITH(NOLOCK)。
5. 文件，文件，文件。明确每个包使用哪些输入以及输出的去向。确保记录选择输入的标准(过去 24 小时？自上次成功以来？新标识值？所有行？)

这对我来说效果很好，尽管我承认我没有做过很多这样的项目，也没有做过任何真正大的项目。