sql - SSIS 包中的季度数据加载

Question

我刚开始使用 SSIS 工具，我需要快速帮助以按季度加载数据

这是我的场景:

我想出了一个查询(源数据库:DB2)，它将提取从 2010-01-01 到 2021-12-31 的数据(11 年的数据)但是数据量太大(大约 300 M) ，所以我想拆分数据源查询以将数据加载到四分之一。我尝试了一年，但我的 SSIS 服务器无法处理的数据量越来越大。我创建了一个年循环来循环它，在其中创建了一个脚本任务，然后是一个数据流任务。

例如，

select * from tab1 where start_date >= '2010-01-01' and end_Date <= '2010-12-31'

我想将其循环为(4 次加载，每个季度 1 次)

select from tab1 where start_date >= '2010-01-01' and end_Date <= '2010-03-31'
select from tab1 where start_date >= '2010-04-01' and end_Date <= '2010-06-30'
select from tab1 where start_date >= '2010-07-01' and end_Date <= '2010-09-30'
select from tab1 where start_date >= '2010-10-01' and end_Date <= '2010-12-31'

Year-wise 完美地工作，但是，我不知道如何将数据加载到 quarter-wise。我想将每个季度参数作为参数传递给源查询，所以总的来说我需要循环 48 次(2010 年到 2021 年 = 11 年 * 4 个季度)任何帮助是极大的赞赏。我可以发送我为年循环创建的内容的屏幕截图，它运行良好。

Answer 1

我认为解决方案是使用 OFFSET FETCH 子句来迭代数据。为什么在使用多行的同时每季度循环一次数据更精确(每次迭代将处理相同数量的数据)。以下文章提供了分步指南:

• SQL OFFSET FETCH Feature: Loading Large Volumes of Data Using Limited Resources with SSIS

值得一提的是，本文处理的是 SQL Server 源代码，而您使用的是 DB2。那么您应该在使用 OFFSET FETCH 子句时考虑任何语法差异:

• Getting top n to n rows from db2
• Example: Using the OFFSET clause with a cursor

---

类似问题:

• Reading Huge volume of data from Sqlite to SQL Server fails at pre-execute
• Loop 10 records at a time and assign it to variable
• SSIS failing to save packages and reboots Visual Studio