postgresql - 为什么 postgres 比 LMDB 更快？

Question

关闭。这个问题是 opinion-based 。目前不接受答案。

---

想要改进这个问题吗？更新问题，以便 editing this post 可以用事实和引文来回答它。 .

已关闭 2 年前。

Improve this question

我通过在其中插入 100 万个条目来比较 Postgres 和 LMDB，其中混合了唯一 ID 和一些数组类型值。在 Postgres 中，我使用 jsonb 来存储数组，并在 LMDB 中作为属性和多值属性。

我在具有 6GB RAM 的 Debian VM 上运行了此测试。

Postgres 比 LMDB 快很多。即使我通过检查数组中是否存在值来搜索数组类型值。其中 json 列未建立索引，我正在查找 json 数组中是否存在值。

根据我读到的内容，他们都使用了 B-Tree。

因此，内存映射的 LMDB 不应该比 Postgres 更快吗，至少在某些情况下是这样。

以下是我用来将数据插入 Postgres 和 MDB 的脚本。

Postgres:

import psycopg2
import random
import string
import json
import time

connection = psycopg2.connect("dbname='name' user='user' host='localhost' password='test'")

cursor = connection.cursor()

count = 698595

ports = [80, 143, 3389, 22, 21, 8080, 443, 289, 636]

def get_random_ports():
    l_ports = list(ports)
    num_service = random.randrange(len(ports))
    result = []
    for i in range(num_port):
        l_i = random.randrange(len(l_ports))
        result.append(l_ports[l_i])
        l_services.pop(l_i)
    return result

def get_random_string():
    stringLength = random.randrange(5, 15)
    letters = string.ascii_lowercase
    return ''.join(random.choice(letters) for _ in range(stringLength))

def show_progress(n):

    print "|" + ("".join("." for _ in range(n))) + ("".join(" " for _ in range(99 - n))) + "|", "\r" if n < 100 else "\n",


start_time = time.time()
postgres_insert_query = """ INSERT INTO test (port, name) VALUES (%s::jsonb, %s)"""
current_count = 0.0
while current_count < count:

    record_to_insert = (
        json.dumps({"services": get_random_services()}),
        get_random_name()
    )

    try:
        cursor.execute(postgres_insert_query, record_to_insert)
        connection.commit()
        current_count = current_count + 1
        show_progress(int((current_count / count) * 100))
    except Exception as err:
        print(err)
        connection.rollback()

connection.close()

print(str(time.time() - start_time))

MDB:

import uuid
import random
import string
import json
import time
import ldap
from ldap import modlist

connection = ldap.initialize('ldapi:///')
connection.simple_bind_s('cn=admin,dc=local', 'doc')

count = 1

ports = [80, 143, 3389, 22, 21, 8080, 443, 289, 636]

def get_random_ports():
    l_ports = list(ports)
    num_service = random.randrange(len(ports))
    result = []
    for i in range(num_port):
        l_i = random.randrange(len(l_ports))
        result.append(l_ports[l_i])
        l_services.pop(l_i)
    return result

def get_random_name():
    stringLength = random.randrange(5, 15)
    letters = string.ascii_lowercase
    return ''.join(random.choice(letters) for _ in range(stringLength))

start_time = time.time()
session_id = bytes(str(uuid.uuid4()), 'utf-8')
while count > 0:

    try:

        name = bytes(get_random_hostname(), 'utf-8')

        entry = ldap.modlist.addModlist(
            {
                "name": name,
                "port": get_random_services(),
                "objectClass": bytes('tmp', 'utf-8')
            }
        )

        connection.add_s('name=' + name + ",dc=local", entry)

        count = count - 1

    except Exception as err:
        pass

print(str(time.time() - start_time))

每次插入 1M 条目后。我尝试对名称和端口进行基本搜索。不需要运行多次搜索，因为 openldap 没有在 1 秒内返回。如果还需要一些其他信息。请告诉我。

Answer 1

在我几年前所做的测试中，在正确调整/配置的 OpenLDAP 实例上，具有 500 万个条目数据库，back-mdb 的性能约为每秒 61,000 次读取。当然有可能获得比这更高的性能，我试图追求特别详尽的东西。

https://mishikal.wordpress.com/2013/05/16/openldap-a-comparison-of-back-mdb-and-back-hdb-performance/