- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在编写一个 .NET 4 应用程序,它将大量数据从文件导入到 PostgreSQL 9.1 数据库中。分析显示 DB 调用实际插入数据占用了 90% 以上的时间。数据库服务器似乎受 CPU 限制 - 使用一个 CPU。
如果可能,我想通过使用所有 CPU 来更快地导入数据。输入文件可以在客户端被分解成多个部分,所以这通常不会太难,但我想确保如果在导入文件时出现任何错误,那么数据库根本不会被修改。为实现这一点,我在一次交易中完成了整个导入。
是否有可能以某种方式向数据库服务器发送并发命令(以利用其所有 CPU),但仍然确保整个导入成功或不进行任何更改?据我了解,不能从多个线程使用事务来同时运行多个命令,可以吗?我正在使用 Npgsql 作为 ADO.NET 提供程序,如果这有所作为的话。
最佳答案
在 Postgres 9.6 之前的标准 PostgreSQL 中,一个事务不能被多个线程并行处理,这个特性被添加为 "parallel query" .
不过,您的 INSERT 操作受 CPU 限制似乎很可疑。这里有几件事可能会得到改进。您究竟如何将数据发送到服务器?基本上有四种方法可以INSERT
数据到表中:
COPY
是迄今为止最快的方法。
在大量INSERT
/COPY
之前删除索引 并在之后重新创建它们会更快。增量添加索引元组的效率远低于一次创建索引。
触发器、约束或外键约束 是其他可能减慢您速度的因素。也许您可以在批量加载之前禁用/删除并在之后启用/重新创建?
还有一些设置可以产生实质性的不同。
您可以关闭 fsync and synchronous_commit . (有风险!)
暂时禁用autovacuum
。之后立即运行 ANALYZE
。 (小心那些!)
阅读关于 Bulk Loading and Restores 的文章和 Tuning Your PostgreSQL Server在 Postgres Wiki 中,尤其是关于 checkpoint_segments 和 checkpoint_completion_target 的段落。
该操作可能不像看起来那样受 CPU 限制。看看这个paragraph in the PostgreSQL Wiki .
减速的另一个来源可能是日志记录。例如,log_statement = all
以一定的成本产生巨大的日志文件,尤其是单行插入。
这是一个quick method to check all your custom settings再次出现在 PostgreSQL Wiki 中。
还有一个加快速度的想法,尤其是当您无法关闭 fsync 时。像这样创建一个或多个空的临时表:
CREATE TEMP TABLE x_tmp AS SELECT * FROM real_tbl LIMIT 0;
考虑一下如何处理序列和其他默认值!INSERT
所有数据到暂存表,然后用一条命令写入目标表。索引和约束再次关闭,但时间要短得多。
INSERT INTO real_tbl SELECT * FROM x_tmp ORDER BY something;
DROP TABLE x_tmp;
可能会更快。确保为各种设置使用足够的 RAM。看temp_buffers
特别是。
关于.net - 同一事务中的并发数据库 (PostgreSQL) 命令,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/7961891/
我正在使用 PostgREST 将数据库实体暴露给使用这些实体的 Springboot 应用。 我的数据库中有两个实体,分别是 Person 和 City。 我想同时保存 Person 实体和 Cit
1、事务的定义 Redis的事务提供了一种“将多个命令打包, 然后一次性、按顺序地执行”的机制。 redis事务的主要作用就是串联多个命令防止别的命令插队。 但是,事务并不具有传统
SQLite 事务(Transaction) 事务(Transaction)是一个对数据库执行工作单元。事务(Transaction)是以逻辑顺序完成的工作单位或序列,可以是由用户手动操作完成,也可
事务是顺序组操作。 它们作为单个单元运行,并且直到组中的所有操作都成功执行时才终止。 组中的单个故障会导致整个事务失败,并导致对数据库没有影响。 事务符合ACID(原子性,一致性,隔离和耐久性)
我希望将 SqlKata 用于一个项目。但是,项目标准的一部分是查询应该能够作为事务执行。有没有一种方法可以使用 MSSQL 事务执行一个查询或多个查询? 非常感谢。 最佳答案 SQLKata 使用
我只是以多线程方式测试 PetaPoco 事务... 我有一个简单的测试用例: -- 简单的值对象称之为 MediaDevice -- 插入一条记录,更新1000次 void TransactionT
我正在尝试从 Excel VBA 向 SQL 中插入一些数据。 SQL 命令是在 VBA 脚本的过程中构建的,包括使用一些 SQL 变量。 我试图了解事务在 VBA 中是如何工作的,以及它们是否可以处
情况如下: 一个大型生产客户端/服务器系统,其中一个中央数据库表具有某个列,该列的默认值是 NULL,但现在默认值是 0。但是在该更改之前创建的所有行当然仍然具有 null 值,这会在该系统中生成许多
数据库事务是一个熟悉的概念。 try { ... .. updateDB() .. ... commit(); } catch error { rollback(); }
我想了解使用传播支持进行 Spring 交易的用途。 java 文档提到如果具有 @Transactional(propagation = Propagation.SUPPORTS) 的方法从支持该事
我需要获取 hibernate 的事务 ID。对于每笔交易,此 ID 必须是唯一的。我尝试使用 session.getTransaction().hashCode(),但我相信这个值不是唯一的。 最佳
我从 firebase 收到以下消息:runTransactionBlock:启用持久性时检测到的使用情况。请注意,事务不会在应用重新启动后保留。 那么应用程序重新启动后到底会发生什么?由于主数据库的
我需要在 jdbc 中执行选择、更新、插入查询的序列。 这是我的代码: public String editRequest(){ connection = DatabaseUtil.getServi
Java 是否提供了一种智能“聚合”事务的方法?如果我有多个异构数据存储库,我想保持同步(即用于数据的 Postgres、用于图表的 Neo4j 以及用于索引的 Lucene),是否有一个范例仅允许
我对标题中的主题有几个问题。首先,假设我们使用 JDBC,并且有 2 个事务 T1 和 T2。在 T1 中,我们在一个特定的行上执行 select 语句。然后我们对该行执行更新。在事务 T2 中,我们
我有一个 Python CGI 处理支付交易。当用户提交表单时,CGI 被调用。提交后,CGI 需要一段时间才能执行信用卡交易。在此期间,用户可能会按下 ESC 或刷新按钮。这样做不会“杀死”CGI,
我有一个代码,类似这样 def many_objects_saving(list_of_objects): for some_object in list_of_objects:
我有一个包含 100,000 条记录的表。我正在考虑使用事务来更新数据。将有一个查询将一列更新为零,并且大约有 5000 个更新,每个更新将更新一条记录。 这些大型事务对内存有何影响?事务运行时选择数
有没有办法在一个命令中执行 SQL 事务?例如 mysql_query(" START TRANSACTION; INSERT INTO table1 ....etc; INSERT INTO tab
真心希望能帮到你! 我使用以下函数在 PHP/MySql 应用程序中发送消息: public function sendMail($sender_id, $recipient_id, $subject
我是一名优秀的程序员,十分优秀!