- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我有一个从多个套接字接收数据然后将数据写入数据库的应用程序。
我目前正在使用 EF 来执行此操作。我想知道如何让它更有效率。
我读到过批量插入速度更快,所以我每 500 次插入才将更改保存到数据库:
db.Logs_In.Add(tableItem);
if (logBufferCounter++ > 500)
{
db.SaveChanges();
logBufferCounter = 0;
}
现在我已经分析了应用程序,74% 的工作由函数完成:System.Data.Enitity.DbSet'1[System._Canon].Add
有没有更好的插入方式?也许将 tableItems 排队到一个列表中,然后将整个列表添加到数据库上下文中。
或者也许我看错了,我应该完全避免使用 EntityFramework 来实现这种更高性能的插入?目前它是我的应用程序中的瓶颈,如果我查看系统资源,SQL 似乎连眼皮都没动一下。
所以我的问题:
1:我将以何种方式在多个插入中实现最高效/最快的插入
2:如果 EF 可以接受,我该如何改进我的解决方案?
我使用的是 SQL Server 2012 企业版,传入的数据是一个恒定的流,但是我可以缓冲它,如果这是更好的解决方案,然后执行批量插入。
[编辑]
进一步解释场景。我有一个在 concurrentQueue 上循环的线程,它使该队列中的项目出队。然而,由于数据库插入是瓶颈这一事实。队列中通常有数千个条目,因此如果还有一种异步或并行方式,我可能会使用多个线程来执行插入操作。
最佳答案
对于涉及大量插入的场景,我倾向于“单独缓冲”(内存中,或 redis 列表,或其他),然后作为批处理作业(可能每分钟,或每隔几分钟)读取列表和使用 SqlBulkCopy
尽可能有效地将数据放入数据库。为了解决这个问题,我使用了 ObjectReader.Create
fastmember的方法,它公开了一个 List<T>
(或任何 IEnumerable<T>
)作为 IDataReader
可以输入 SqlBulkCopy
, 公开 T
的属性作为数据阅读器中的逻辑列。然后,您需要做的就是填写 List<T>
来自缓冲区。
但是请注意,您需要考虑“出现问题”的情况;即,如果插入中途失败,您将如何处理缓冲区中的数据?这里的一种选择是执行 SqlBulkCopy
进入一个staging 表(相同的架构,但不是“实时”表),然后使用常规 INSERT
当您知道数据在数据库中时,一步复制数据 - 这使恢复更简单。
关于c# - 如何改进 Entity Framework 批量插入,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/24882766/
这是我在阅读了几个关于 jpa 批量插入的主题后创建的简单示例,我有 2 个持久对象用户和站点。一个用户可以有多个站点,所以我们在这里有一对多的关系。假设我想创建用户并将多个站点创建/链接到用户帐户。
我有文档列表(对象),该对象有多个文档,即存在 Json 记录,但是当我尝试上传文档束(记录)时,它没有上传到文档数据库,但当我上传单个文档记录时,它上传成功。 List listObj = ne
我希望进行批量域名查找,看看是否有一些域名可供购买。我找不到 perl 模块,但似乎应该有一种方法可以在 perl 中执行此操作。我正在寻找免费的东西。谢谢! 最佳答案 从这里:http://www.
我制作了一个批处理类来检查 FTP 上的文件、下载它们并在 FTP 上删除它们。 当我手动运行它(不是批量运行)时,它运行完美,下载 FTP 中的所有文件并在下载完成后删除它们。 当我尝试批量运行时,
我有一个 *+* 形式的字符串 base。我想得到+之前的所有内容。例如,如果 base=foo+bar,我想获取 foo。 我尝试过使用字符串替换来实现 set left=%base:+*=% 但这
我需要创建几十个表,并且我需要它们是innodb, 有没有办法做到这一点,而不是将 engine=innodb 附加到每个 create table 语句? 最佳答案 可以在服务器级别指定默认引擎,在
我正在尝试制作显示 unix/linux 提示符的 dos shell。代码是: @echo off :hi set tmpdrv=%cd:~0,2% if %homedrive% == %tmpdr
我有以下代码,基本上是在二维矩阵的每一行上进行一维卷积。卷积核是一样的。所以真的是 SIMD 案例。 a = [ 1,2,3,4,5; 6,7,8,9,7; 7,6
情况: 我尝试在 shell 中的循环内移动文件,但我的代码无法正常工作。 for /D %%F in (*) do ( if "%%F" NEQ "%directoryToPutFilesIn
目录包含 2 个(或更多)任意名称的视频文件。 video1.mkv video2.mkv 需要找出每个视频的持续时间。为此,我们使用 MediaInfo . setlocal EnableDelay
如何在 Windows 中批量删除数千个文件中的空格(而不是替换为下划线)?我可以从 DOS 命令执行此操作吗? 目前: file one.mp3 file two.mp3 所有文件需要变成: fil
我想创建一个批处理文件,它读取 2 个不同的值,并根据它们的比较方式进行相应处理。但是,比较永远不会起作用。代码是: REM string1 and string2 contain the follo
我正在尝试将一个文件夹的子文件夹复制到许多其他名称未知的文件夹中。目的是在所有使用它的员工文件夹中备份程序的源文件。如果在员工文件夹中找不到程序文件夹,则不应执行任何操作。这看起来如下: 来源: F:
我正在寻找一种简单的方法来检测一小段文本(几句话)是否为英语。在我看来,这个问题比尝试检测任意语言要容易得多。有没有可以做到这一点的软件?我正在用 python 编写,并且更喜欢 python 库,但
我们正在尝试向 8k 种不同的设备发送促销推送消息。我们正在成功响应推送通知 URL https://fcm.googleapis.com/fcm/send 但只有部分用户收到此通知,并非全部。那么
基本上我只是用这一段来替换我的 var 中的一个字符串,但我无法让嵌套延迟扩展正常工作。这甚至可能吗? set replace=!replace:!search!=!replaceVal!! 我知道执
如何使用 ffmpeg 对一批视频文件进行编码,使用相同的设置? 我找到了 one-line solution将当前文件夹中的 .avi 文件转换为 .mov。请注意,我要编码 .mov -> .mo
我正在尝试制作一个批处理文件,每次循环时都会将变量增加 1,然后检查变量是否等于 5,如果不是,则再次循环。我知道这可能有一个 while 循环,但我不知道如何做到这一点,我现在只是享受学习 Batc
我正在尝试创建一个循环,读取多个 CSV 文件,这些文件都具有相同类型的气温数据。但是,我想跳过数据上方的行。这些是数据集中的“警报”。每个文件可能有不同数量的警报,因此要跳过不同数量的行。见下文:
因此,我正在批量创建一个Mail程序,而消息传递部分出现了问题。 消息传递部分是无限循环。 当我输入多个单词时,它会崩溃。 这是代码。请帮忙! :rep set line= set /p line=
我是一名优秀的程序员,十分优秀!