gpt4 book ai didi

如果某些字段值不唯一,rabbitmq 会丢弃消息吗?

转载 作者:行者123 更新时间:2023-12-04 19:45:37 28 4
gpt4 key购买 nike

我将 ampq 队列与我的网络爬虫一起使用 - 每个爬虫实例都会获取一个 url 以从队列中的消息中爬取,然后将它找到的 url 添加到队列中。

因为会有多个爬虫实例,每个实例都可能找到相同的 url 并将其添加到队列中。

是否有内置方法告诉 rabbitmq 在知道 url 时丢弃消息,或者在已存在带有 url 的消息时检查队列?

最佳答案

否。 RabbitMQ 机制无法检查消息的唯一性。

AMQP 队列,尤其是 RabbitMQ 队列是纯 FIFO 队列。

可能,您必须在应用程序端实现唯一性检查。

附言:

使用 x-max-length 声明与唯一字段(或其哈希值)同名的队列有很好的解决方法设置为 1,这样如果队列中有未处理的消息,重复项将丢失。但这需要大量带有 url(唯一字段 - url 哈希)的队列,因此不是最佳解决方案,尤其是当涉及使用来自数千个名称不明显的队列的所有消息时。

关于如果某些字段值不唯一,rabbitmq 会丢弃消息吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23390234/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com