performance - Redis 在插入方面似乎比 PostgreSQL 慢

Question

我目前正在开展一个项目，我们考虑将 Redis 用作数据库。我们的数据性质非常简单，似乎适合 Redis。在没有使用 Redis 的经验的情况下，我做了一个非常小的基准测试，以在插入性能(这对我们很重要)方面将其与 PostgreSQL 进行比较。

我创建了一个包含 200000 个 INSERT 语句的 .sql 文件到一个简单的模式 (address [key], timestamp, value) .插入大约需要 6 秒。

对于 Redis，200000 条记录中的每一条都是通过以下方式插入的:

HSET data:address timestamp <VALUE>
HSET data:address value <VALUE>

使用 time redis-cli < insert_data.redis 将所有内容转储到 Redis 中需要 16 秒。我意识到这个“基准”是非常基本的，但我是否遗漏了一些让 PostgreSQL 脱颖而出的东西？我真的无法想象 Redis 在插入时实际上更慢。

Answer 1

这个结果是合乎逻辑的。要了解基准测试的结果，了解系统上触发的操作很重要。

Redis 和 PostgreSQL 客户端都与各自的服务器同步工作。对于每个语句，他们发送一个查询并等待回复，然后再处理下一个语句。

在这样的卷上，内存中发生了很多事情(即使使用 PostgreSQL)。此外，您在这里没有并发性。因此，操作的成本不是由 I/O 或索引决定的，而是由客户端和服务器之间交换的往返决定的。

现在，每个测试生成多少次往返？

使用 PostgreSQL，每条记录有一个语句，导致 200000 次往返。使用 Redis，每条记录有两个语句，导致 400000 次往返。此外，Redis 往返系统地包括您的模式的关键字(数据、时间戳、值)，并且地址每条记录发送两次。因此，Redis 测试交换了更多数据。

您可能还对客户端软件解析输入文件的方式有所不同。

要使用 redis-cli 提高一点结果，您可以使用命令 HMSET每条记录只发送一个语句。

HSET data:address timestamp <VALUE>
HSET data:address value <VALUE>

变成:

HMSET data:address timestamp <VALUE> value <VALUE>

但这里真正的收获是使用 pipelining .不幸的是，你不能从 redis-cli 中使用它，除非依赖 --pipe 选项。对于此选项，您必须生成实际的 Redis 协议(protocol)而不是文本命令。这就是为什么您使用“cat data.txt | redis-cli --pipe”进行的测试无法正常工作的原因。正在生成 Redis protocol来自简单的 shell 命令并不方便。

对于这样的基准测试，我强烈建议使用您自己的客户端程序而不是 redis-cli。如果使用流水线，即使是用 Python、Ruby 或 Javascript 编写的内容也会产生有趣的性能。