node.js - Redis 用于非常大的内存缓存

Question

我打算考虑使用 Redis 在缓存中存储大量数据。目前我将它们存储在我自己用 java 编写的缓存中。我的用例如下。

我从源获取 15 分钟的数据，我需要每小时汇总一次数据。因此，对于一个给定的对象 A，每小时我将获得 4 个值，我需要将它们聚合为一个值，我将使用的公式将是最大/最小/总和。

我打算像下面这样使用 Foe making key

a) 对象 id - 长

b) 时间-长

c) property id - int(每个对象可能有很多属性，我需要分别为每个属性聚合)

所以最终 key 看起来像；

objectid_time_propertyid

每 15 分钟我可能会得到大约 50 到 6000 万个键，每次我都需要获取这些键将属性值转换为 double 并应用公式(最大/最小/总和等)然后转换回字符串并存储背部。因此，我看到每个键在每种情况下都有一次读取和一次写入和转换。

我的问题如下。

1. 建议在此类用例中使用 Redis，今后我可能会将每小时数据聚合到每日、每日聚合到每周等等。
2. 在缓存中读取和写入的性能如何(我在 Windows 上进行了示例测试，读取和写入 100K key 需要 30-40 秒，这不是很好，但我在 Windows 上做了，我最终需要在 Linux 上运行。
3. 我想使用redis的持久化功能，有什么优缺点？

如果哪位有实际使用redis做memcache的经验，需要经常更新的请给点建议。

Answer 1

1. Is is advisable to use redis for such use case , going forward I may aggregate hourly data to daily , daily to weekly and so on.

建议取决于您问的是谁，但我当然觉得 Redis 可以胜任这项工作。如果单个服务器不够，您的描述表明可以轻松地对数据集进行分片，因此集群可以让您进行扩展。

不过，我建议您以稍微不同的方式存储数据。首先，Redis 中的每个键都有开销，因此开销越多，您需要的 RAM 就越多。因此，我建议不要为每个对象时间属性保留一个键，而是将哈希作为一种将一些值聚合在一起的方法。例如，您可以使用 object_id:timestamp 键并在其下存储 property_id:value 对。

此外，与其按时间戳保留每个对象属性的 4 个离散测量并重新计算聚合，我建议您只保留聚合并使用新测量更新它们。所以，你基本上有一个 object_id 哈希，具有以下结构:

object_id:hourtimestamp  ->  property_id1:max = x
                             property_id1:min = y
                             property id1:sum = z

当获取对象属性的新数据 - d - 时，只需重新计算聚合:

property_id1:max = max(x, d)
property_id1:min = min(y, d)
property_id1:sum = z + d

对所需的每个分辨率重复相同的操作，例如使用 object_id:daytimestamp 来保持日级聚合。

最后，不要忘记在不再需要 key 后将其过期(即为每小时计数器等设置 24 小时 TTL)。

还有其他可能的方法，主要是使用排序集，可用于解决您的查询需求(请记住，存储数据是容易的部分 - 取回数据通常更难；))。

2. What would be performance of read and writes in cache (I did a sample test on Windows and 100K keys read and write took 30-40 seconds thats not great , but I did on windows and I finally need to run on linux.

Redis 在我的笔记本电脑上的 Linux 虚拟机上运行时，每秒读取和写入的次数超过 500K。性能在很大程度上取决于您如何使用 Redis 的数据类型和 API。考虑到您在 15 分钟内吞吐了 6000 万个值，或者每秒约 70K 的小数据写入，Redis 完全有能力处理这个问题。

3. I want to use persistence function of redis, what are pros and cons of it ?

这是一个非常有据可查的主题 - 请参阅 http://redis.io/topics/persistence和 http://oldblog.antirez.com/post/redis-persistence-demystified.html对于初学者。