sql-server-2008 - BULK INSERT 还是导入和导出数据向导？-6ren

sql-server-2008 - BULK INSERT 还是导入和导出数据向导？

转载作者：行者123 更新时间：2023-12-02 09:36:53

25

4

我每周有一个大型 CSV 文件(范围从 500MB 到 1GB，超过 250 万行)要加载到 SQL Server 2008 R2 数据库中。

我能够使用 BULK INSERT 命令或导入和导出数据向导来加载数据。就我的数据集而言，它们之间的加载时间跨度没有观察到差异。

就性能而言，您推荐的方法是什么。效率和日后维护有关？

提前致谢!

干杯，亚历克斯

我最终使用 SQL Server 导入和导出数据向导并将其保存到 SSIS 包中。然后我使用 Business Intelligence Development Studio 编辑保存的包并将其重新导入回 SQL Server。它运行良好，只需 2 分钟即可将所有 9 个 CSV 文件从 10MB 到 600MB 加载到 SQL Server 数据库。

最佳答案

MSDN 论坛:

When a SSIS developer opted for using the "Fast Load" option along with the "Table lock" on the OLEDB target, or used the SQL Server Destination, then he/she has effectively used the very BULK INSERT, so this is a moot point to debate what is faster.

Bulk insert on its own has tricks, in SQL Server contest more can be done to make it faster a row process, namely making it minimally or not logging at all. Now disabling constraints is another thing the bcp takes care of, not SSIS (unless instructed), and this what MSFT can decide to change in SSIS, but where the SSIS shines is in using an algorithm figuring out what are the best parameters for a given machine/system to use (e.g. the buffer size, etc).

So in most applications the SSIS is faster right away and even more faster with proper tweaking.

In real life many factors bring different impacts to the benchmarking, but at this stage I am inclined to state there is no real measurable difference.

Microsoft 发布了关于比较不同加载策略以实现高性能和在批量加载方法之间进行选择的非常有用的指南 - The Data Loading Performance Guide

也可以看看下面的文章。

关于sql-server-2008 - BULK INSERT 还是导入和导出数据向导？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24794656/

25

4

0

文章推荐： architecture - 将 Boomi 连接到 CICS 主机的推荐方法是什么？

文章推荐： Perl 哈希结构数组

MySQL触发器: Before Insert or After Insert
我正在开发一些用于计费的数据库项目(PHP/MySQL)。每当创建新账单时，我想生成一个由年、周和增量编号组成的账单编号。我想用触发器来做到这一点。触发器将使用现有的账单编号来查找增量编号，或者从新
mysql - SQL insert using RAND() for inserting random value - INSERT into TINYINT?
我有一个 MySQL 插入，我正在使用 RAND 生成随机 INT 值问题是它不会插入到数据库中，因为该列接受 TINYINT ，如何将输出转换为 TINYINT。代码示例如下: INSERT INT
sql - INSERT 新记录并将生成的主键用于另一个 INSERT
如果我想从单个插入中保存主键 (mytable_id)，我已完成以下操作: CREATE OR REPLACE FUNCTION myfunct(ownerid text) RETURNS void
sql-server - Insert OUTPUT Insert.id to another table in multiple values insert
为了简单起见，假设我有两个表用户表(id，email) 用户日志表(id, date) 无论 id 被插入到 user 表中，相同的 id 也应该被插入到 user_log 表中，否则事务应该失败。
sql-server - Insert OUTPUT Insert.id to another table in multiple values insert
为了简单起见，假设我有两个表用户表(id，email) 用户日志表(id, date) 无论 id 被插入到 user 表中，相同的 id 也应该被插入到 user_log 表中，否则事务应该失败。
sql - INSERT 是否可以在触发器 "inserted"表中产生多行结果？
我知道在触发器中 - 至少对于 SQL Server - 人们永远不应该假设插入的表只有一行，这意味着触发器中这样的 SQL 通常是不好的: select @UserID = ID from inse
insert - BigQuery : insert rows, 但未写入
我正在使用 bigquery 对象中的方法 tabledata().insertAll 更新行列表。执行后，返回显示没有错误。但是，我的表仍然继续，没有写入任何数据。可能是权限问题。如果是这样，为什
insert - F# 树 : Node Insertion
这是一个扩展 F# Recursive Tree Validation 的问题，我昨天已经很好地回答了。这个问题涉及在现有树中插入一个 child 。这是我想使用的更新类型: type Name
java - 如何处理与主 INSERT 相关的辅助 INSERT
我有 2 个表:用户和照片(在 mysql 数据库中)。在这里你可以看到两个表之间的关系 User Photos -------------
MySQL - INSERT INTO SELECT ( INSERT INTO ...) - 嵌套插入
我试图同时在不同的表上插入两行。子查询INSERT INTO的AUTO_INCRMENT或id的值(如果已经存在)应该写入主查询中。目前我有这个(仅用 3 个值简化)，但它不起作用。我想知道是否有
php - INSERT IGNORE 或 INSERT WHERE NOT IN
我有一个 900 万行的表，由于其庞大的规模，我正在努力处理所有这些数据。我想做的是在不覆盖数据的情况下将 IMPORT 一个 CSV 添加到表中。在我做这样的事情之前； INSERT if no
PHP MySQL INSERT INTO : can't insert anymore
我正在写新闻并将其插入到我的数据库中，我在 3 年前构建了代码并且运行良好，但我不能再插入了，我不明白为什么: $insert=mysqli_query($co,"INSERT INTO articl
mysql - Insert statement not insert 好像找不到问题
我正在尝试编写一个简单的 INSERT 语句来将新用户添加到数据库中，但它不起作用，这意味着，我尝试插入到表中的数据都没有被插入。几个小时以来，我一直在尝试解决此问题，但没有成功。我尝试编写插入语句的
c# - INSERT，以及如何将 INSERT 插入到多个表中
所以我有这个表格: http://i.imgur.com/vZYssQy.png 现在 ID、First Name、Last Name、DOB、Address、Phone Number 和 Post
insert - 为 DataGrip 生成 sql insert into
在控制台中运行查询(SELECT 语句)时，从数据库检索到的数据以表格格式显示在数据库控制台工具窗口的结果 Pane 中。我已经搜索过 datagrip Help我只是想知道是否有任何方法可以用于为
SQL 服务器 : Insert row with trigger after Insert
每当使用触发器插入行时，我都试图将另一行插入表中，但收到以下错误消息: The target table 'EDDSDBO.Redaction' of the DML statement cannot
sql - SQL 中的 INSERT 与 INSERT INTO
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。这个问题似乎与 help center 中定义的范围内的编程无关。 . 关闭 6 年前。 Improve
php - INSERT 查询不插入数据，但是执行表明 INSERT 成功的回显
我有以下代码片段: $get_data = mysqli_query ($connect, "SELECT * FROM users WHERE username = '$username'");
python - 哪个更好-execute(INSERT) 或executemany(INSERT)
情况:需要向 SQLite 数据库中插入大量数据。问题:我们可以使用两个语句来插入数据 - data = [("111", "222", "333"), ("AAA", "BBB", "CCC"),
C# INSERT 与 INSTEAD OF INSERT TRIGGER
我的数据库中有一个表 Teacher: TABLE Teacher ( ID CHAR (7) NOT NULL , name

首页

博学

6Ren·AI

商城

sql-server-2008 - BULK INSERT 还是导入和导出数据向导？