linux - MonetDB 并行查询高 IO 写入事件

Question

在 Linux 上测试 Monetdb 时，我可以看到很多 IO 写入事件。数据集为 2GB(3000 万行)，系统有 120GB 可用内存

查询:

select sum(hits) from (select "hour","minute","second", server, count(*) as hits from iislogs group by server, "hour","minute","second") as xxx;

我运行一个查询需要大约 400 毫秒来扫描 3000 万行，但是如果我并行运行相同的查询 10 次，每次需要 30 秒!48 个 CPU 占用 15%，我可以看到大量磁盘写入，没有交换事件。我一直在寻找调整某种设置或限制但没有任何运气。

知道为什么吗？

更新:

我已禁用日志记录并且写入事件已降低，但仍然有一些改善，而且根本没有改善。

Answer 1

您可以尝试在页面缓存中允许更多脏页。我们在以下虚拟内存设置方面取得了一些成功:

sudo sysctl -w vm.swappiness=0
sudo sysctl -w vm.dirty_expire_centisecs=6000000
sudo sysctl -w vm.dirty_background_ratio=90
sudo sysctl -w vm.dirty_writeback_centisecs=6000000
sudo sysctl -w vm.dirty_ratio=90