- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个问题-我希望通过SSIS(Microsoft ETL)下载客户数据。对于我导入的每个客户记录,我都必须对照目标数据库中的现有客户记录进行检查。如果记录存在,则必须更新记录,如果不存在,则必须插入它。最佳表现的策略是什么?我们正在谈论20-30百万行。
我想到了触发器(在INSERT上触发-检查记录是否存在),查找,游标,但是我确定有更好的方法,可能使用SSIS中的一种数据流转换?
还是将其导入到临时表中然后在本地进行查找会更好?
最佳答案
这是一个可能的选项,无论是否涉及插入/更新,您都可以将其加载到目标表中。下面给出的示例在3分钟内将包含一百万行的文本文件加载到SQL表中。如果该记录在SQL表中不存在,那么它将被插入到目标表中,否则该记录将被插入到登台表中,该表将在存储过程的帮助下用于更新目标表。该存储过程还将删除SQL表中可能存在但平面文件中不存在的所有记录。该示例将SSIS 2008 R2与SQL Server 2008 R2后端一起使用。
分步过程:
在SQL Server数据库中,创建两个表,即dbo.ItemInfo
和dbo.Staging
。 “脚本”部分下提供了创建表查询。这些表的结构显示在屏幕快照#1中。 ItemInfo
将保存实际数据,而Staging
表将保存登台数据以比较和更新实际记录。这两个表中的Id
列都是自动生成的唯一身份列。表ItemInfo中的IsProcessed
列将用于标识和删除不再有效的记录。
创建一个SSIS包并创建5个变量,如屏幕快照2所示。我已经对制表符分隔的文件使用了.txt
扩展名,因此在变量FileExtension中使用了值*.txt
。 FilePath
变量将在运行时分配值。 FolderLocation
变量表示文件将位于何处。 SQLPostLoad
和SQLPreLoad
变量表示在预加载和后加载操作期间使用的存储过程。这些存储过程的脚本在“脚本”部分下提供。
创建一个指向SQL Server数据库的OLE DB连接。创建一个平面文件连接,如屏幕快照#3和#4所示。平面文件连接列部分包含列级别的信息。屏幕截图5显示了列数据预览。
如屏幕截图6所示,配置控制流任务。如屏幕快照#7-#10所示,配置任务Pre Load
,Post Load
和Loop Files
。 Pre Load将截断登台表,并将ItemInfo表中的所有行的IsProcessed
标志设置为false。加载后将更新更改,并将删除文件中未找到的数据库中的行。请参阅这些任务中使用的存储过程,以了解这些Execute SQL
任务正在执行的操作。
双击“加载项目”数据流任务,然后按截图11所示进行配置。 Read File
是配置为使用平面文件连接的平面文件源。 Row Count
是派生的列转换,其配置显示在screenshto#12中。 Check Exist
是一个查找转换,其配置显示在屏幕快照#13-#15中。查找无匹配输出被重定向到左侧的Destination Split
。查找匹配输出将重定向到左侧的Staging Split
。 Destination Split
和Staging Split
具有与屏幕截图#16中所示完全相同的配置。目标表和登台表中有9个不同目标的原因是为了提高程序包的性能。
所有目标任务0-8已配置为将数据插入表dbo.ItemInfo
中,如屏幕快照#17所示。所有暂存任务0-8已配置为将数据插入dbo.Staging
,如屏幕快照#18所示。
在平面文件连接管理器上,将ConnectionString属性设置为使用变量FilePath,如屏幕快照#19所示。这将使程序包在循环访问文件夹中的每个文件时使用变量中设置的值。
测试场景:
Test results may vary from machine to machine.
In this scenario, file was located locally on the machine.
Files on network might perform slower.
This is provided just to give you an idea.
So, please take these results with grain of salt.
1 million rows
加载了平面文件。包执行大约2分钟47秒。请参阅屏幕截图#20和#21。
1 million rows
的相同文件。包执行大约1分钟35秒。请参阅屏幕截图22和23。请注意在屏幕快照#22中重定向到目标和登台表的行数。
--These records will be deleted during next run
--because item ids won't match with file data.
--(111111 row(s) affected)
UPDATE dbo.ItemInfo SET ItemId = 'DEL_' + ItemId WHERE Id % 9 IN (3)
--These records will be modified to their original item type of 'General'
--because that is the data present in the file.
--(222222 row(s) affected)
UPDATE dbo.ItemInfo SET ItemType = 'Testing' + ItemId WHERE Id % 9 IN (2,6)
--These records will be reloaded into the table from the file.
--(111111 row(s) affected)
DELETE FROM dbo.ItemInfo WHERE Id % 9 IN (5,9)
Name InputColumnWidth DataType OutputColumnWidth
---------- ---------------- --------------- -----------------
Id 8 string [DT_STR] 8
ItemId 11 string [DT_STR] 11
ItemName 21 string [DT_STR] 21
ItemType 9 string [DT_STR] 9
CREATE TABLE [dbo].[ItemInfo](
[Id] [int] IDENTITY(1,1) NOT NULL,
[ItemId] [varchar](255) NOT NULL,
[ItemName] [varchar](255) NOT NULL,
[ItemType] [varchar](255) NOT NULL,
[IsProcessed] [bit] NULL,
CONSTRAINT [PK_ItemInfo] PRIMARY KEY CLUSTERED ([Id] ASC),
CONSTRAINT [UK_ItemInfo_ItemId] UNIQUE NONCLUSTERED ([ItemId] ASC)) ON [PRIMARY]
GO
CREATE TABLE [dbo].[Staging](
[Id] [int] IDENTITY(1,1) NOT NULL,
[ItemId] [varchar](255) NOT NULL,
[ItemName] [varchar](255) NOT NULL,
[ItemType] [varchar](255) NOT NULL,
CONSTRAINT [PK_Staging] PRIMARY KEY CLUSTERED ([Id] ASC)) ON [PRIMARY]
GO
CREATE PROCEDURE [dbo].[PostLoad]
AS
BEGIN
SET NOCOUNT ON;
UPDATE ITM
SET ITM.ItemName = STG.ItemName
, ITM.ItemType = STG.ItemType
, ITM.IsProcessed = 1
FROM dbo.ItemInfo ITM
INNER JOIN dbo.Staging STG
ON ITM.ItemId = STG.ItemId;
DELETE FROM dbo.ItemInfo
WHERE IsProcessed = 0;
END
GO
CREATE PROCEDURE [dbo].[PreLoad]
AS
BEGIN
SET NOCOUNT ON;
TRUNCATE TABLE dbo.Staging;
UPDATE dbo.ItemInfo
SET IsProcessed = 0;
END
GO
关于ssis - 使用SSIS包导入大型数据集时,如何执行查找?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6400907/
SQLite、Content provider 和 Shared Preference 之间的所有已知区别。 但我想知道什么时候需要根据情况使用 SQLite 或 Content Provider 或
警告:我正在使用一个我无法完全控制的后端,所以我正在努力解决 Backbone 中的一些注意事项,这些注意事项可能在其他地方更好地解决......不幸的是,我别无选择,只能在这里处理它们! 所以,我的
我一整天都在挣扎。我的预输入搜索表达式与远程 json 数据完美配合。但是当我尝试使用相同的 json 数据作为预取数据时,建议为空。点击第一个标志后,我收到预定义消息“无法找到任何内容...”,结果
我正在制作一个模拟 NHL 选秀彩票的程序,其中屏幕右侧应该有一个 JTextField,并且在左侧绘制弹跳的选秀球。我创建了一个名为 Ball 的类,它实现了 Runnable,并在我的主 Draf
这个问题已经有答案了: How can I calculate a time span in Java and format the output? (18 个回答) 已关闭 9 年前。 这是我的代码
我有一个 ASP.NET Web API 应用程序在我的本地 IIS 实例上运行。 Web 应用程序配置有 CORS。我调用的 Web API 方法类似于: [POST("/API/{foo}/{ba
我将用户输入的时间和日期作为: DatePicker dp = (DatePicker) findViewById(R.id.datePicker); TimePicker tp = (TimePic
放宽“邻居”的标准是否足够,或者是否有其他标准行动可以采取? 最佳答案 如果所有相邻解决方案都是 Tabu,则听起来您的 Tabu 列表的大小太长或您的释放策略太严格。一个好的 Tabu 列表长度是
我正在阅读来自 cppreference 的代码示例: #include #include #include #include template void print_queue(T& q)
我快疯了,我试图理解工具提示的行为,但没有成功。 1. 第一个问题是当我尝试通过插件(按钮 1)在点击事件中使用它时 -> 如果您转到 Fiddle,您会在“内容”内看到该函数' 每次点击都会调用该属
我在功能组件中有以下代码: const [ folder, setFolder ] = useState([]); const folderData = useContext(FolderContex
我在使用预签名网址和 AFNetworking 3.0 从 S3 获取图像时遇到问题。我可以使用 NSMutableURLRequest 和 NSURLSession 获取图像,但是当我使用 AFHT
我正在使用 Oracle ojdbc 12 和 Java 8 处理 Oracle UCP 管理器的问题。当 UCP 池启动失败时,我希望关闭它创建的连接。 当池初始化期间遇到 ORA-02391:超过
关闭。此题需要details or clarity 。目前不接受答案。 想要改进这个问题吗?通过 editing this post 添加详细信息并澄清问题. 已关闭 9 年前。 Improve
引用这个plunker: https://plnkr.co/edit/GWsbdDWVvBYNMqyxzlLY?p=preview 我在 styles.css 文件和 src/app.ts 文件中指定
为什么我的条形这么细?我尝试将宽度设置为 1,它们变得非常厚。我不知道还能尝试什么。默认厚度为 0.8,这是应该的样子吗? import matplotlib.pyplot as plt import
当我编写时,查询按预期执行: SELECT id, day2.count - day1.count AS diff FROM day1 NATURAL JOIN day2; 但我真正想要的是右连接。当
我有以下时间数据: 0 08/01/16 13:07:46,335437 1 18/02/16 08:40:40,565575 2 14/01/16 22:2
一些背景知识 -我的 NodeJS 服务器在端口 3001 上运行,我的 React 应用程序在端口 3000 上运行。我在 React 应用程序 package.json 中设置了一个代理来代理对端
我面临着一个愚蠢的问题。我试图在我的 Angular 应用程序中延迟加载我的图像,我已经尝试过这个2: 但是他们都设置了 src attr 而不是 data-src,我在这里遗漏了什么吗?保留 d
我是一名优秀的程序员,十分优秀!