python - 在 python 中设置 Redis 循环？

Question

我有几个用 python 编写的工作人员正在解析页面和收集链接。我正在尝试找出一种他们可以协调的方式，这样他们就不会重复击中相同的位置。

我想我可以用 Redis 做到这一点。我正在尝试构建一个集合类型的任意大小(比如 10000 个项目)的循环队列，这样我就可以使用 sismember 来验证一个链接在解析它之前最近没有被访问过(并且不必担心输入相同的链接两次)。我已经在内存中使用 python set 执行此操作，但这仅适用于特定的工作人员。

这可能吗？我看到的另一种可能性是构建一组未指定大小的集合，每个成员都有超时。我最近才开始使用 Redis，所以我不确定这两种情况是否可行。

Answer 1

thepirat000 给出了一个很好的响应，但他没有添加为答案。一种方法是在 Redis 上添加内存限制，以便驱逐最旧的数据。设置过程记录在 redis 的网站上:http://redis.io/topics/lru-cache

在我的特定用例中，我做了一些不同的事情，对于页面，我解析了域名，并将使用此信息生成的 key 和任意数据放入 redis 中，并带有与之关联的超时。然后，每个工作人员将在尝试解析该特定站点上的任何页面之前检查此 key 。