- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试使用 CsvHelper 读取 CSV 文件,将每条记录加载到 DataTable 中,然后使用 SqlBulkCopy 将数据插入数据库表中。使用当前代码,在向数据表添加行时出现异常。异常(exception)情况是:“无法将‘MvcStockAnalysis.Models.StockPrice’类型的对象转换为‘System.IConvertible’类型。无法存储在日期列中。预期类型为 DateTime。”
示例 CSV 文件来自雅虎财经。例如:http://ichart.yahoo.com/table.csv?s=MMM&a=0&b=1&c=2010&d=0&e=17&f=2014&g=d&ignore=.csv
CSV 文件包含以下 header : 日期 开盘价 最高价 最低价 收盘量 调整收盘价
我正在将 CSV 文件读入的模型:
namespace MvcStockAnalysis.Models
{
using System;
using System.Collections.Generic;
public partial class StockPrice
{
public int Id { get; set; }
public System.DateTime Date { get; set; }
public int CompanyId { get; set; }
public double High { get; set; }
public double Low { get; set; }
public double Close { get; set; }
public double AdjClose { get; set; }
public double Open { get; set; }
public double Volume { get; set; }
public virtual Company Company { get; set; }
}
}
CSV 文件到 StockPrice 类的映射使用以下内容:
public class StockPriceClassMap : CsvClassMap<StockPrice>
{
public override void CreateMap()
{
Map(m => m.Date).Name("Date");
Map(m => m.Close).Name("Close");
Map(m => m.AdjClose).Name("Adj Close");
Map(m => m.High).Name("High");
Map(m => m.Low).Name("Low");
Map(m => m.Open).Name("Open");
Map(m => m.Volume).Name("Volume");
}
}
尝试将 CsvHelper 记录添加到 DataTable 的代码如下:
var connectionstring = ConfigurationManager.ConnectionStrings["MvcStockAnalysis.Models.MvcStockAnalysisContext"];
var connection = new SqlConnection();
connection.ConnectionString = connectionstring.ToString();
var destinationTableName = "StockPrices";
var company = db.Company
.Where(c => c.Symbol == "MMM")
.FirstOrDefault();
try
{
string path = HttpContext.Server.MapPath("~/App_Data/" + company.Symbol + @".csv");
if (System.IO.File.Exists(path))
{
using (StreamReader sr = new StreamReader(path))
{
using (var csv = new CsvReader(sr))
{
DataTable dt = new DataTable("StockPrices");
csv.Configuration.HasHeaderRecord = true;
csv.Configuration.RegisterClassMap<StockPriceClassMap>();
dt.Columns.Add(new DataColumn("Date", typeof(DateTime)));
dt.Columns.Add(new DataColumn("Close", typeof(Double)));
dt.Columns.Add(new DataColumn("AdjClose", typeof(Double)));
dt.Columns.Add(new DataColumn("High", typeof(Double)));
dt.Columns.Add(new DataColumn("Low", typeof(Double)));
dt.Columns.Add(new DataColumn("Open", typeof(Double)));
dt.Columns.Add(new DataColumn("Volume", typeof(Double)));
dt.Columns.Add(new DataColumn("CompanyId", typeof(Double)));
var records = csv.GetRecords<StockPrice>().ToList();
foreach (var record in records)
{
record.CompanyId = company.Id;
dt.Rows.Add(record);
}
// add dt to the database
using (var bulkCopy = new SqlBulkCopy(connection.ConnectionString))
{
// DataTable column names match my SQL Column names, so I simply made this loop.
foreach (DataColumn col in dt.Columns)
{
bulkCopy.ColumnMappings.Add(col.ColumnName, col.ColumnName);
}
bulkCopy.DestinationTableName = destinationTableName;
bulkCopy.WriteToServer(dt);
}
}
}
}
connection.Close();
}
catch (Exception e)
{
Console.Write(e.Message);
}
如何将 CsvHelper 记录添加到 DataTable 以用于 SqlBulkCopy 到数据库?
最佳答案
如果我没记错的话,你应该能够用更少的代码来完成它。在进入 DataTable
之前,您也不必将其放入另一个类中。
while( csv.Read() )
{
var row = dt.NewRow();
foreach( DataColumn column in dt.Columns )
{
row[column.ColumnName] = csv.GetField( column.DataType, column.ColumnName );
}
dt.Rows.Add( row );
}
关于.net - 如何将 CsvHelper 记录添加到 DataTable 以用于 SqlBulkCopy 到数据库,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/21257827/
在 .Net Aspx 页面或 Web 服务需要在表中执行大约 20-200 行插入的情况下,您会推荐以下哪种方法?为什么?小的性能提升可能意味着我仍然会使用我最熟悉的方法,所以请告诉我它是否不会产生
SqlBulkCopy可以创建一个类似于SELECT INTO的表吗? 最佳答案 我认为上述答案不太清楚。 您必须使用SQL创建表。没有别的办法了。而且,如果您只需要创建列结构,那么如果您的源代码位于
在我的程序中,我正在填充数据表,然后将其批量复制到我的数据库中。 但是,如果行中的 3 列匹配,我希望它覆盖数据库中的一行。 例如,如果我有 5 列 成员(member)编号注册日期姓名地址城市状态
我熟悉 C# SqlBulkCopy 类,您可以在其中调用通过 DataTable 传递的“WriteToServer”方法。 我的问题是 SQL Server 中使用什么底层机制来批量插入该数据?
SqlBulkCopy 的建议批量大小是多少?我正在寻找一个可以用作性能调整起点的通用公式。 最佳答案 我有一个导入实用程序与我的 SQL Server 实例位于同一物理服务器上。它使用自定义的 ID
这是 TABLE1 的架构: CREATE TABLE [dbo].[TABLE1] ( [id] [int] IDENTITY(1, 1) NOT NULL, [code] [int
要将数据从一个数据库复制到具有相同架构的不同服务器中的另一个数据库,我计划使用 C sharp 库中的 SqlBulkCopy 类。 SqlBulkCopy 在插入记录时是否会保持与数据表中相同的顺序
我可以忽略我传递给 SqlBulkCopy 的数据表中已存在于 sql 数据库中的数据的重复记录吗?如果是,那么如何,如果否和其他选项,还要解释我。 最佳答案 不,这不是内置的。您需要先清理客户端上的
我正在执行从 excel 电子表格到临时表的数据的 sql 批量复制,然后从临时表到生产数据库。 我的问题是,如果由于任何原因上传到临时表或生产数据库失败,事务是否回滚并且没有数据被导入或修改现有数据
我的软件可以部署在两种不同的配置中:一种是我全天偶尔收到单个数据点的涓流馈送,另一种是我在一天结束时得到所有数据的转储。对于日终转储,显然,我将使用具有可配置批处理大小的 SqlBulkCopy()
在我的网络应用程序中,用户可以一次插入大量数据,以提高性能,我正在使用 SqlBulkCopy 类。对于插入两个不同表的单个操作,它会运行多次。如果用户取消操作或操作失败,那么我需要回滚数据,因此我使
我有以下代码..它实际上使用 SQLBulkCopy 将数据插入目标。由于死锁,此代码在源 SQL 服务器中经常失败。仅供引用,正在复制的表可以在我们执行批量复制时使用(我的意思是一些插入/选择将运行
我正在尝试使用 SqlBulkCopy 通过在我的应用程序中手动填充 DataTable 来将新行插入到我的数据库表中。 这适用于所有表除了具有由 3 列组成的复合主键的表。每当我尝试将任何内容 Sq
我正在使用 SqlBulkCopy 将一批记录从 MySQL 复制到 SQL Server。 正好 30 秒后,我明白了 System.Data.SqlClient.SqlException (0x8
这是我的场景:我必须在表中导入大文件,所以我使用了 sqlBulkCopy,因为其他方法太慢了。 这是一个文件行的例子: String1|String2|String3|String4 这是表结构:
有人可以帮我解决这个错误吗?这是我的代码: using System; using System.Drawing; using System.Collections; using System.Com
我正在努力将数据库从 MS Access 迁移到 sql server。为了将数据移动到新表中,我决定编写一个同步例程,因为模式已经发生了相当大的变化,它让我可以在运行它的程序上运行测试,并在我需要新
我正在使用 SqlBulkCopy 对象将生成的几百万行插入到数据库中。唯一的问题是我要插入的表有一个标识列。我尝试将 SqlBulkCopyOptions 设置为 SqlBulkCopyOption
从 csv 文件插入数据。如何使用存储过程而不是 SqlBulkCopy 从数据表插入到数据库?当前使用: using (SqlBulkCopy sqlBulkCopy = new SqlBulkC
我正在尝试找到一种使用 SqlBulkCopy 向 MSSQLServer 表执行批量插入的方法,该方法将在出现错误时继续,并返回无法插入的任何行的数据表。 当我尝试使用 SqlBulkCopy 时,
我是一名优秀的程序员,十分优秀!