c# - Insert 的 MySQL C# 性能-6ren

c# - Insert 的 MySQL C# 性能

转载作者：行者123 更新时间：2023-11-29 00:11:52

24

4

我正在开发一个应用程序，它在启动时检查数据库(更新新数据)，并在工作完成时(关闭/注销时)将性能日志推送到数据库。用户自己没有更改任何数据，他们只是生成日志(钱来自他们对数据的使用；)

当用户完成工作后，应用程序将日志推送到数据库(MySQL 数据库)，我不想不断推送数据，因为预计连接会断开并在工作日离线(移动设备)工作)，在线时间越少越好。这意味着应用程序也必须能够在离线模式下工作。

单个用户推送的日志一般在2000条左右，每条记录包含70字节左右的数据。高峰时间大约有 100 个用户(在不久的将来可能会增加到 300 个)，这使得每天大约有 200.000 条日志记录被推送到 MySQL 数据库。因为用户在同一时间工作，所以会出现高峰时段。最坏的情况是同时记录 200.000 个 70 个字节(~14 mb 的数据)。

我使用的数据库是MySQL数据库，选择这个主要是因为:

它是免费的(出售参数)
我可以在线寻求帮助
这是一个标准数据库，意味着其他 IT 部门很可能已经知道它

我正在使用以下语言开发应用程序:C# .Net 4.5

我尝试过使用 EntityFramework，这很容易上手，但在性能上有点失败。当我在我的开发机器上运行程序 + 服务器时，单个用户的 2000 个日志(插入)大约需要 7 秒。而7秒是 Not Acceptable (而且当200个用户同时进行时，它可能会急剧增加)正如我所读到的那样，EntityFramework 似乎将每个插入作为单个 SQL 命令，并且一次采用一个 SQL 命令。

所以我尝试使用 MySQL Connector/Net。但我不想像 EntityFramework 那样做，而是将每个插入作为单个命令进行。于是我的目光转向了MySqlBulkLoader。但是它只想接受一个文件，而不是原始数据，有没有办法在程序中加载带有数据的MySqlBulkLoader，我宁愿不将数据保存到硬盘以便能够将数据发送到数据库，感觉就像不必要的弯路

所以我的问题是(不再讲故事；)

我可以在不在磁盘上创建文件的情况下使用内存中的数据加载 MySqlBulkLoader 吗？
我应该使用 MySQL Connector/Net 还是有其他方法(比如原始 SQL 语句)？

编辑:答案是

将 MySQL Connector/Net 与原始 SQL 命令一起使用，将插入作为批量插入 LIKE THIS .

最佳答案

假设记录是 2000000 而不是 2000。EF 与其他 ORM 一样，旨在简化正常事务工作负载的编码，而不是性能关键型密集型工作负载。

答案很简单:如果您重构代码以通过单个连接将所有项目插入单个数据库事务中后不满意(因为 7 秒对我来说也太长了，除非您每次都关闭/打开连接)，您应该在该部分代码中执行原始 SQL 语句，并在其他代码中继续使用 EF。

没有别的办法。正确的批处理是通过普通的旧 SQL。

而MysqlBulkLoader只是为了文件系统操作而制作的，虽然文件可以是一个临时文件

关于c# - Insert 的 MySQL C# 性能，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/24697612/

24

4

0

文章推荐： Android 动画和过渡

MySQL触发器: Before Insert or After Insert
我正在开发一些用于计费的数据库项目(PHP/MySQL)。每当创建新账单时，我想生成一个由年、周和增量编号组成的账单编号。我想用触发器来做到这一点。触发器将使用现有的账单编号来查找增量编号，或者从新
mysql - SQL insert using RAND() for inserting random value - INSERT into TINYINT?
我有一个 MySQL 插入，我正在使用 RAND 生成随机 INT 值问题是它不会插入到数据库中，因为该列接受 TINYINT ，如何将输出转换为 TINYINT。代码示例如下: INSERT INT
sql - INSERT 新记录并将生成的主键用于另一个 INSERT
如果我想从单个插入中保存主键 (mytable_id)，我已完成以下操作: CREATE OR REPLACE FUNCTION myfunct(ownerid text) RETURNS void
sql-server - Insert OUTPUT Insert.id to another table in multiple values insert
为了简单起见，假设我有两个表用户表(id，email) 用户日志表(id, date) 无论 id 被插入到 user 表中，相同的 id 也应该被插入到 user_log 表中，否则事务应该失败。
sql-server - Insert OUTPUT Insert.id to another table in multiple values insert
为了简单起见，假设我有两个表用户表(id，email) 用户日志表(id, date) 无论 id 被插入到 user 表中，相同的 id 也应该被插入到 user_log 表中，否则事务应该失败。
sql - INSERT 是否可以在触发器 "inserted"表中产生多行结果？
我知道在触发器中 - 至少对于 SQL Server - 人们永远不应该假设插入的表只有一行，这意味着触发器中这样的 SQL 通常是不好的: select @UserID = ID from inse
insert - BigQuery : insert rows, 但未写入
我正在使用 bigquery 对象中的方法 tabledata().insertAll 更新行列表。执行后，返回显示没有错误。但是，我的表仍然继续，没有写入任何数据。可能是权限问题。如果是这样，为什
insert - F# 树 : Node Insertion
这是一个扩展 F# Recursive Tree Validation 的问题，我昨天已经很好地回答了。这个问题涉及在现有树中插入一个 child 。这是我想使用的更新类型: type Name
java - 如何处理与主 INSERT 相关的辅助 INSERT
我有 2 个表:用户和照片(在 mysql 数据库中)。在这里你可以看到两个表之间的关系 User Photos -------------
MySQL - INSERT INTO SELECT ( INSERT INTO ...) - 嵌套插入
我试图同时在不同的表上插入两行。子查询INSERT INTO的AUTO_INCRMENT或id的值(如果已经存在)应该写入主查询中。目前我有这个(仅用 3 个值简化)，但它不起作用。我想知道是否有
php - INSERT IGNORE 或 INSERT WHERE NOT IN
我有一个 900 万行的表，由于其庞大的规模，我正在努力处理所有这些数据。我想做的是在不覆盖数据的情况下将 IMPORT 一个 CSV 添加到表中。在我做这样的事情之前； INSERT if no
PHP MySQL INSERT INTO : can't insert anymore
我正在写新闻并将其插入到我的数据库中，我在 3 年前构建了代码并且运行良好，但我不能再插入了，我不明白为什么: $insert=mysqli_query($co,"INSERT INTO articl
mysql - Insert statement not insert 好像找不到问题
我正在尝试编写一个简单的 INSERT 语句来将新用户添加到数据库中，但它不起作用，这意味着，我尝试插入到表中的数据都没有被插入。几个小时以来，我一直在尝试解决此问题，但没有成功。我尝试编写插入语句的
c# - INSERT，以及如何将 INSERT 插入到多个表中
所以我有这个表格: http://i.imgur.com/vZYssQy.png 现在 ID、First Name、Last Name、DOB、Address、Phone Number 和 Post
insert - 为 DataGrip 生成 sql insert into
在控制台中运行查询(SELECT 语句)时，从数据库检索到的数据以表格格式显示在数据库控制台工具窗口的结果 Pane 中。我已经搜索过 datagrip Help我只是想知道是否有任何方法可以用于为
SQL 服务器 : Insert row with trigger after Insert
每当使用触发器插入行时，我都试图将另一行插入表中，但收到以下错误消息: The target table 'EDDSDBO.Redaction' of the DML statement cannot
sql - SQL 中的 INSERT 与 INSERT INTO
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。这个问题似乎与 help center 中定义的范围内的编程无关。 . 关闭 6 年前。 Improve
php - INSERT 查询不插入数据，但是执行表明 INSERT 成功的回显
我有以下代码片段: $get_data = mysqli_query ($connect, "SELECT * FROM users WHERE username = '$username'");
python - 哪个更好-execute(INSERT) 或executemany(INSERT)
情况:需要向 SQLite 数据库中插入大量数据。问题:我们可以使用两个语句来插入数据 - data = [("111", "222", "333"), ("AAA", "BBB", "CCC"),
C# INSERT 与 INSTEAD OF INSERT TRIGGER
我的数据库中有一个表 Teacher: TABLE Teacher ( ID CHAR (7) NOT NULL , name

首页

博学

6Ren·AI

商城

c# - Insert 的 MySQL C# 性能