个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
28
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章详解PostgreSQL提升批量数据导入性能的n种方法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
关键字：批量数据导入，数据加载，大量插入，加快，提升速度 多元化选择时代，人生里很多事物都是如此，凡事都没有一成不变的方式和方法。不管白猫黑猫，能抓老鼠的就是好猫，适合自己的就是最好的。 提升批量数据导入的方法亦是如此，没有何种方法是最优的，应用任何方法前根据自己的实际情况权衡利弊，做出选择。 批量导入数据之前，无论采取何种方式，务必做好相应的备份。 导入完成后亦需对相应对象进行ANALYZE操作，这样查询优化器才会按照最新的统计信息生成正确的执行计划.
下面正式介绍提升批量数据导入性能的n种方法.
方法1：禁用自动提交.
|
1
2
3
4
5
6
7
|
psql
\
set
AUTOCOMMIT
off
其他
BEGIN
;
执行批量数据导入
COMMIT
;
|
方法2：设置表为UNLOGGED.
导入数据之前先把表改成UNLOGGED模式，导入完成后改回LOGGED模式.
|
1
2
3
|
ALTER
TABLE
tablename
SET
UNLOGGED;
执行批量数据导入
ALTER
TABLE
tablename LOGGED;
|
优点： 导入信息不记录WAL日志，极大减少io，提升导入速度。 缺点： 1.在replication环境下，表无法设置为UNLOGGED模式。 2.导入过程一旦出现停电死机等会导致数据库不能干净关库的情况，数据库中所有UNLOGGED表的数据将丢失.
方法3：重建索引.
导入数据之前先删除相关表上的索引，导入完成后重新创建之.
|
1
2
3
|
DROP
INDEX
indexname;
执行批量数据导入
CREATE
INDEX
...;
|
查询表上索引定义的方法 。
|
1
|
select
*
from
pg_indexes
where
tablename =
'tablename'
and
schemaname =
'schemaname'
;
|
方法4：重建外键.
导入数据之前先删除相关表上的外键，导入完成后重新创建之.
|
1
2
3
4
5
6
7
|
ALTER
TABLE
...
DROP
CONSTRAINT
... ;
执行批量数据导入
ALTER
TABLE
...
ADD
CONSTRAINT
...
FOREIGN
KEY
...
REFERENCES
...;
|
相关信息可查询pg_constraint.
方法5：停用触发器 。
导入数据之前先DISABLE掉相关表上的触发器，导入完成后重新ENABLE之.
|
1
2
3
|
ALTER
TABLE
tablename DISABLE
TRIGGER
ALL
;
执行批量数据导入
ALTER
TABLE
tablename ENABLE
TRIGGER
ALL
;
|
相关信息可查询pg_trigger.
方法6：insert改copy 。
COPY针对批量数据加载进行了优化.
|
1
|
COPY ...
FROM
'xxx'
;
|
方法7：单值insert改多值insert 。
减少sql解析的时间.
方法8：insert改PREPARE 。
通过使用PREPARE预备语句，降低解析消耗.
|
1
2
3
|
PREPARE
fooplan (
int
, text, bool,
numeric
)
AS
INSERT
INTO
foo
VALUES
($1, $2, $3, $4);
EXECUTE
fooplan(1,
'Hunter Valley'
,
't'
, 200.00);
|
方法9：修改参数 。
增大maintenance_work_mem，增大max_wal_size.
方法10：关闭归档模式，降低wal日志级别.
修改archive_mode参数控制归档开启和关闭。降低wal_level值为minimal来减少日志信息记录。 此法需要重启数据库，需要规划停机时间。此外如有replication备库，还需考虑对其影响.
到此这篇关于PostgreSQL提升批量数据导入性能的n种方法的文章就介绍到这了,更多相关PostgreSQL批量数据导入内容请搜索我以前的文章或继续浏览下面的相关文章希望大家以后多多支持我！ 。
原文链接：https://blog.csdn.net/pg_hgdb/article/details/114585593 。
最后此篇关于详解PostgreSQL提升批量数据导入性能的n种方法的文章就讲到这里了,如果你想了解更多关于详解PostgreSQL提升批量数据导入性能的n种方法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
28
4
0
在本教程中，您将通过示例学习 JavaScript。 JavaScript 中的提升是一种在声明之前可以使用函数或变量的行为。例如， // using test before declarin
我正在学习javascript提升功能，发现下面的代码真的很困惑: var a = 1; function b() { a = 10; return; function a()
作为一个JS学习者，我发现了一件很有趣的事情，考虑下面的代码。 this.init = function (e) { var container = e.container;
Quasiquotes 的 Scala 文档在解释 Lifting 时提到了这一点: One can also combine lifting and unquote splicing: scala
我是新来的。到目前为止，我一直在使用 MVC 模型并使用基本的 session 管理模型，即在 session 中存储一个 token 并检查每个请求。 我正在尝试对lift做同样的事情，但我的 se
我当前使用的是Elasticsearch 2.4版，希望根据查询时间的增加或加权，根据我称为“类型”的字段对结果集进行微调。 例如 如果字段“类型”的值为“船”，则将权重或增强值增加4 如果字段“类型
一年多以来，我一直在大量使用 lift、return 以及 EitherT、ReaderT< 等构造函数，等等。我读过《Real World Haskell》、《Learn You a Haskell
我浏览了电梯的MegaProtoUser遇到这种结构:??("Last Name")。谁能解释一下，这是什么意思？ 谢谢解答 最佳答案 它是在对象 S 上定义的: def ??(str : Strin
我有一个Solr索引，每个文档都是一个Event的信息。在我的架构中，Schedule 是日期类型的多值字段。我想知道是否可以使用计划日期来增加文档(多值字段中的任何日期)在未来并且最接近当前日期？我
作为测试，我正在尝试使用设计人员友好的模板在 lift 中创建一个表单。我正在使用 Lift 2.5 我已经设法使用 toForm 创建了一个工作表单，但我只是在探索所有可能的方法。 我的 html
如果这个问题已经被问到，我深表歉意。 是否可以清除已经设置的条件变量？ 下面是我想要实现的详细信息: void worker_thread { while (wait_for_conditio
尝试学习Js，无法理解为什么DOM元素没有获取到值: var Car = function(loc) { var obj = Object.create(Car.prototype); obj
我想知道吊装。我知道如果全局函数名称与全局变量相同，函数会覆盖变量的名称。是吗？ 这是我的代码。 (function() { console.log('console.log#1 ' + glob
这个问题已经有答案了: var functionName = function() {} vs function functionName() {} (41 个回答) 已关闭 7 年前。 在javas
我正在开发 Windows 资源管理器 namespace 扩展。我的应用程序是explorer.exe在某个时候加载和使用的动态库。我需要我的 DLL 在 C:\中创建文件，有时在其他需要提升才能执
背景: GitHub 属于客户。我们团队中有一些新手，他们有时会错过基本的命名约定和其他编码协议(protocol)。所以，如果哪位前辈想在内部review，除了创建PR，别无他法。但是这个 PR 对
我们需要在运行时更改 HKEY_LOCAL_MACHINE 的一些设置。 如果需要在运行时，是否可以提示 uac 提升，或者我是否必须启动第二个提升的进程来完成“肮脏的工作”？ 最佳答案 我会以提升的
看着Haskell文档，提升似乎基本上是 fmap 的概括，允许映射具有多个参数的函数。 Wikipedia然而，关于提升的文章给出了不同的观点，根据类别中的态射来定义“提升”，以及它如何与类别中的其
ggplot2 package 很容易成为我用过的最好的绘图系统，除了对于较大的数据集(约 50k 点)性能不是很好。我正在研究通过 Shiny 提供网络分析，使用 ggplot2作为绘图后端，但我对
是否可以提升 powershell 脚本的权限，以便没有管理员权限的用户可以运行该脚本？我们的网络管理员正在尝试寻找更省时的方法来完成某些任务，目前他们必须使用远程桌面...使用 PS 脚本将其自动化
我是一名优秀的程序员,十分优秀！