c++ - 使用redis做日志缓存 : Is it possible to create an eviction policy that evicts to PostgreSQL?

Question

我有一个新编写的系统(用 C++ 编写)，我希望在其中完成大量日志记录，至少在系统证明可靠之前是这样。我打算将数据库消息存储到 PostgreSQL 服务器，但为了提高效率，我想先缓存在 Redis 中，然后我写入 Redis，然后如果消息超过一定大小，我将它们转储到持久数据库，稍后可以在其中导航。

我read about LRU caching redis的，它似乎很合适，但是LRU缓存似乎更倾向于读取数据而不是写入。换句话说，那里描述的场景听起来像是如果我想从持久数据库中读取一些东西，并且为了避免多次读取(访问)那个持久数据库，我取那个值并将它写入 redis 缓存并重复使用它.但我想做相反的事情。我的日志系统会将日志消息写入 Redis，然后我希望它们以预定义的模式“逐出”到 PostgreSQL。

有没有办法让我编写一个 Redis 插件来实现这一点？我似乎没有找到任何关于这方面的文献或例子。

PS:请随时提出更好的日志缓存机制。

Answer 1

1. 如果想要写效率，我推荐leveldb或者rocksdb，都是Log-Structured-Merge-数据库(LSM)设计，具有出色的写入性能和良好的读取性能。

   Google Leveldb

   Facebook Rocksdb

2. 如果你想使用redis和postgres，我想你可以使用redis作为一个job-queue。将您的 log-message 写入队列，并设置一些 worker 从队列中检索 log-message 并写入 postgres 。

   在这种情况下，您可以考虑: Celery

   或者自己用redis List实现一个job-queue:使用LPUSH来存储log-message和LPOP 检索log-message，然后将它们写入postgres。