python - Redis:内存优化/性能策略

Question

我编写了一个应用程序，主要用于嗅探以太网设备并研究某些模式。我正在使用 Python 和 Scapy 来捕获数据。由于需要将数据捕获到数据库中以供后代和模式研究使用，因此我们正在考虑以下策略。

1) 我们希望使用高性能键值存储来捕获基本数据。这基本上是一个具有大约 200 个键的键:值存储。2) 每隔一小时，我们将汇集 key 存储，并根据某些条件和模式，我们将根据存储在 K:V 存储中的值填充一个 Postgres 数据库。

我们计划将 Redis 用于 K:V。我们考虑过其他解决方案，包括数据库、基于文件的缓存等，但存在性能瓶颈。例如，每分钟要处理数千个数据包，并且从数据库来回调用 SQL 会减慢程序速度。

我从来没有用过Redis。但我听说它是​​最快、最高效的 K:V No SQL 数据存储。 redis python API 使其非常 Pythonic。基本上，数据库存储将有 200 个奇数键和一个与 80% 的键关联的长整型值，或者在某些情况下，少于 200 个字符的字符字段。

问题

1) 这是正确的方法吗？2) 其他需要考虑的参数是什么？3)内存规模有多大？我应该做些什么来确保内存大小经过优化以获得更快的性能？4) 如何计算内存大小？

Python 是我们唯一知道的语言。所以像 C/C++ 这样的任何建议都可能没有吸引力。

我们可以接受偶尔丢失一些数据包，因为我们的想法是研究模式而不是得出绝对准确的结果。键的数量将保持不变，并且它们的值可以上下变化..

我们最终需要将计算出的数据存储在 RDBMS 中，因为 future 的主脉冲是 SQL 密集型的。

Answer 1

1) 这是正确的方法吗？

当然可以这样实现，Redis 的速度足以承受这种工作量。您的瓶颈将是您的 Python 代码，而不是 Redis 本身。

2) 还有哪些其他参数需要考虑？

您可能希望在内存(字典)而不是 Redis 中累积数据。除非您使用 full-fsync AOF 配置 Redis(这会使其变慢)，否则 Redis 对系统崩溃的弹性并不比您的 Python 进程高多少。

但是，如果您有多个捕获进程并且需要在将数据存储到 PostgreSQL 之前聚合数据，那么 Redis 是一个非常好的解决方案。

3) 内存规模有多大？我应该怎么做才能确保内存大小经过优化以获得更快的性能？

如果您有 200 个值，则内存消耗不是问题(因为它可以忽略不计)。 Redis 对于这种工作负载已经足够快了，您不需要在这里使用任何花哨的技巧。

但是，您应该维护一个 key 列表(这样您就可以在不依赖 KEYS 命令的情况下访问它们)，并使用流水线以高效的方式检索您的数据(即不是逐个 key )。如果您有多个键，请考虑使用 SORT 命令一次性获取所有内容，或者考虑定义一个唯一的哈希对象来存储您的 200 个键/值并一次性检索它们。

4) 如何计算内存大小？

这里没用。但如果你真的需要，启动一个 Redis 实例，放入你的数据，然后使用 INFO 命令获取统计信息。您还可以转储数据，并使用以下 Python 脚本从转储文件中获取统计信息:https://github.com/sripathikrishnan/redis-rdb-tools