- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在从 C# 逐行写入 SQL 服务器上的两个表。
我的 C# 应用程序将参数传递给 2 个存储过程,每个存储过程都将行插入表中。
每次调用存储过程时,我都会打开然后关闭连接。
我需要将大约 100m 行写入数据库。
我是否应该在每次调用存储过程时关闭和打开连接?
这是我正在做的一个例子:
public static void Insert_TestResults(TestResults testresults)
{
try
{
DbConnection cn = GetConnection2();
cn.Open();
// stored procedure
DbCommand cmd = GetStoredProcCommand(cn, "Insert_TestResults");
DbParameter param;
param = CreateInParameter("TestName", DbType.String);
param.Value = testresults.TestName;
cmd.Parameters.Add(param);
if (testresults.Result != -9999999999M)
{
param = CreateInParameter("Result", DbType.Decimal);
param.Value = testresults.Result;
cmd.Parameters.Add(param);
}
param = CreateInParameter("NonNumericResult", DbType.String);
param.Value = testresults.NonNumericResult;
cmd.Parameters.Add(param);
param = CreateInParameter("QuickLabDumpID", DbType.Int32);
param.Value = testresults.QuickLabDumpID;
cmd.Parameters.Add(param);
// execute
cmd.ExecuteNonQuery();
if (cn.State == ConnectionState.Open)
cn.Close();
}
catch (Exception e)
{
throw e;
}
}
这是服务器上的存储过程:
USE [SalesDWH]
GO
/****** Object: StoredProcedure [dbo].[Insert_TestResults] Script Date: 12/26/2011 10:45:08 ******/
SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO
-- =============================================
-- Author: <Author,,Name>
-- Create date: <Create Date,,>
-- Description: <Description,,>
-- =============================================
ALTER PROCEDURE [dbo].[Insert_TestResults]
-- Add the parameters for the stored procedure here
@TestName varchar (500),
@Result decimal (18,4)=null,
@NonNumericResult varchar (50)=null,
@QuickLabDumpid int
AS
BEGIN
-- SET NOCOUNT ON added to prevent extra result sets from
-- interfering with SELECT statements.
SET NOCOUNT ON;
INSERT INTO [SalesDWH].[dbo].[TestResults]
([TestName]
,[Result]
,nonnumericresult
,[QuickLabDumpid])
VALUES
(@TestName,@Result,@nonnumericresult,@QuickLabDumpID)
END
对于大约 1 亿行,大约需要 3 天。这对我来说似乎太慢了。我该怎么做才能加快速度?多次打开/关闭连接的标准是什么?
最佳答案
给你多一个选择。 .NET 框架有 SqlBulkCopy从 2.0 开始上课。您必须做对的主要事情是确保 DataTable架构与您的表匹配。在您的测试用例中,是这样的:
private void _initDataTable() {
dt = new DataTable();
dt.Columns.Add(new DataColumn() {
DataType = Type.GetType("System.String"),
ColumnName = "TestName"
});
dt.Columns.Add(new DataColumn() {
DataType = Type.GetType("System.Decimal"),
ColumnName = "Result"
});
dt.Columns.Add(new DataColumn() {
DataType = Type.GetType("System.String"),
ColumnName = "NonNumericResult"
});
dt.Columns.Add(new DataColumn() {
DataType = Type.GetType("System.Int32"),
ColumnName = "QuickLabDumpid"
});
}
数据访问代码如下所示:
private void _insertData() {
using (var c = new SqlConnection(CS)) {
c.Open();
using (var trans = c.BeginTransaction()) {
try {
using (var bc = new SqlBulkCopy(
c, SqlBulkCopyOptions.TableLock, trans))
{
bc.DestinationTableName = "dbo.Insert_TestResults";
bc.WriteToServer(dt);
}
trans.Commit();
}
catch (Exception e) {
trans.Rollback();
throw;
}
}
}
}
测试了 1000 万条这样的记录:
private void _fillDataTable() {
int batchToInsert = 1000000;
int numberOfTimes = 10;
int recordCounter = 1;
for (int i = 0; i < numberOfTimes; ++i) {
for (int j = 0; j < batchToInsert; j++) {
var row = dt.NewRow();
row[0] = string.Format("TestName{0}", recordCounter);
row[1] = (decimal) i;
row[2] = string.Format("NonNumericResult{0}", recordCounter);
row[3] = i;
dt.Rows.Add(row);
recordCounter += 1;
}
_insertData();
dt.Clear();
}
}
在我的开发机器上花了两分半钟多一点。您可能想要尝试一次批处理多少条记录。 (不像上面的测试用例那样是 100 万)很明显,你将 10 倍以上的数据放入表中(猜测你的实时数据会更大),但我非常怀疑这种方法会3 天:)
无论您决定使用哪种方法,祝您好运。
编辑:如果不是很明显,我忘了提及 - 因为您在设置 DestinationTableName
属性时指定了表名,所以这就是您所需要的 - 没有存储过程或任何其他 SQL 语句。
关于c# - 应该多久关闭/打开一次连接?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8638296/
我正在尝试在Elasticsearch中返回的值中考虑地理位置的接近性。我希望近距离比某些字段(例如legal_name)重要,但比其他字段重要。 从文档看来,当前的方法是使用distance_fea
我是Elasticsearch的初学者,今天在进行“多与或”查询时遇到问题。 我有一个SQL查询,需要在Elastic中进行转换: WHERE host_id = 999 AND psh_pid =
智能指针应该/可以在函数中通过引用传递吗? 即: void foo(const std::weak_ptr& x) 最佳答案 当然你可以通过const&传递一个智能指针。 这样做也是有原因的: 如果接
我想执行与以下MYSQL查询等效的查询 SELECT http_user, http_req_method, dst dst_port count(*) as total FROM my_table
我用这两个查询进行测试 用must查询 { "size": 200, "from": 0, "query": { "bool": { "must": [ { "mat
我仍在研究 Pro Android 2 的简短服务示例(第 304 页)同样,服务示例由两个类组成:如下所示的 BackgroundService.java 和如下所示的 MainActivity.j
给定标记 like this : header really_wide_table..........................................
根据 shouldJS 上的文档网站我应该能够做到这一点: ''.should.be.empty(); ChaiJS网站没有使用 should 语法的示例,但它列出了 expect 并且上面的示例似乎
我在 Stack Overflow 上读到一些 C 函数是“过时的”或“应该避免”。你能给我一些这种功能的例子以及原因吗? 这些功能有哪些替代方案? 我们可以安全地使用它们 - 有什么好的做法吗? 最
在 C++11 中,可变参数模板允许使用任意数量的参数和省略号运算符 ... 调用函数。允许该可变参数函数对每个参数做一些事情,即使每个参数的事情不是一样的: template void dummy(
我在我从事的项目之一上将Shoulda与Test::Unit结合使用。我遇到的问题是我最近更改了此设置: class MyModel :update end 以前,我的(通过)测试看起来像这样: c
我该如何做 or使用 chai.should 进行测试? 例如就像是 total.should.equal(4).or.equal(5) 或者 total.should.equal.any(4,5)
如果您要将存储库 B 中的更改 merge 到存储库 A 中,是否应该 merge .hgtags 中的更改? 存储库 B 可能具有 A 中没有的标签 1.01、1.02、1.03。为什么要将这些 m
我正在尝试执行X AND(y OR z)的查询 我需要获得该代理为上市代理或卖方的所有已售属性(property)。 我只用 bool(boolean) 值就可以得到9324个结果。当我添加 bool
我要离开 this教程,尝试使用 Mocha、Supertest 和 Should.js 进行测试。 我有以下基本测试来通过 PUT 创建用户接受 header 中数据的端点。 describe('U
我正在尝试为 Web 应用程序编写一些 UI 测试,但有一些复杂的问题希望您能帮助我解决。 首先,该应用程序有两种模式。其中一种模式是“训练”,另一种是“现场”。在实时模式下,数据直接从我们的数据库中
我有一个规范: require 'spec_helper' # hmm... I need to include it here because if I include it inside desc
我正在尝试用这个测试我在 Rails 中的更新操作: context "on PUT to :update" do setup do @countdown = Factory(:count
我还没有找到合适的答案: onclick="..." 中是否应该转义 &(& 符号)? (或者就此而言,在每个 HTML 属性中?) 我已经尝试在 jsFiddle 和 W3C 的验证器上运行转义和非
import java.applet.*; import java.awt.*; import java.awt.event.*; public class Main extends Applet i
我是一名优秀的程序员,十分优秀!