postgresql - 在 PostgreSql 中加载 LinkedGeoData 非常慢

Question

我已经安装并调整了我的 PostgreSql 数据库，并且我从 here 下载了 LinkedGeoData 文件。然后我执行了行 lgd-createdb -h localhost -d databasename -U user -W password -f bremen-latest.osm.pbf (12MB) 和 saarland- latest.osm.pbf (21.6 MB) 并在 15 分钟内运行良好，但我尝试加载更重的文件，如 Mecklenburg-Vorpommern-latest.osm.pbf (54MB) 并且它 react 不是很好，系统执行了那条线，但我从昨天开始就在等待结果。

我的 PostgreSql 的 conf 文件 postgresql.conf 的值是

shared_buffers               = 2GB 
effective_cache_size         = 4GB
checkpoint_segments          = 256
checkpoint_completion_target = 0.9
autovacuum                   = off 
work_mem                     = 256MB
maintainance_work_mem        = 256MB

我的 PostgreSql 版本是 Debian 机器下的 9.1。

我该如何解决这个问题？

先谢谢你了。

Answer 1

我是 lgd-createdb 脚本的开发人员，我只是尝试在具有四核 I7、SSD 和 8GB RAM 的笔记本电脑上使用 postgresql 9.3(通过 ubuntu 14.04)重现该问题 - 对我来说是 Mecklenburg-Vorpommern -latest.osm.pbf 文件加载不到 10 分钟。

我的设置是:

shared_buffers = 2GB
temp_buffers = 64MB
work_mem = 64MB
maintenance_work_mem = 256MB
checkpoint_segments = 64
checkpoint_completion_target = 0.9
checkpoint_warning = 30s
effective_cache_size = 2GB

和你的很像。

我什至创建了一个新版本的 LGD 脚本(还没有在 repo 中)，其中渗透配置为首先将数据加载到“快照”模式，然后将其转换为“简单”模式。 Osmosis 针对前一种模式进行了优化，并且确实在单次运行中(使用 CompactTempFile 选项)它稍快一些(8 分钟快照与 8:30 分钟简单)。

你有固态硬盘吗？后一种加载策略在非 SSD 上可能要快得多(尽管对于 50MB 的文件来说不应该是几个小时)。也许 htop 或 indicator-multiload 等系统负载指示器可以帮助您揭示资源问题(例如 RAM 耗尽或另一个进程的高磁盘 I/O)。