elasticsearch - 为什么我的默认RabbitMQ配置具有如此低的吞吐量？

Question

背景

我正在设置Elastic Search ELK stack以使用RabbitMQ作为代理进行实时日志分析。我正在使用一个名为Beaver的python项目将日志文件发送到RabbitMQ。需要注意的事情是:

使用exchange_type: "direct"

使用queue_durable: 1(不确定是否值得一提)

使用exchange_durable: 1(不确定是否值得一提)

兔子MQ

我从他们的网站下载了最新的RabbitMQ，并使用 rabbitmq.config文件运行了它。我在配置文件中包含的唯一内容是:

tcp_listeners-> {“0.0.0.0”，5672}

loopback_users-> [](允许 guest 用户远程连接)

frame_max-> 2155000 解释如下

我正在解析 netscreen日志文件，日志条目大约为431个字节。我将其乘以5000，从而得出frame_max值。

在用户方面(logstash rabbitmq输入插件)，我具有以下设置:

input {
    rabbitmq {
        host => "rabbitmq server ip here"
        queue => "indexer-queue"
        exchange => "logstash-exchange"
        key => "logstash-routing-key"
        exclusive => false
        durable => true
        auto_delete => false
        type => "logstash-indexer-input"
        prefetch_count => 2000
        threads => 5
    }
}

建议使用此设置 here。

问题

当我启动所有内容时，我意识到我每秒最多只能获得300条左右的消息。产生和消耗值均为300消息/秒。我假设这意味着所产生的任何东西都会被立即消耗掉。看着队列，它几乎是空的。

与Redis相比，RabbitMQ在吞吐量方面可悲。我听到了有关RabbitMQ的好评，尤其是它的速度。

有人可以告诉我我的设置有什么问题吗？为什么我用RabbitMQ只能达到300消息/秒，而不是Redis可以达到3500消息/秒？

Answer 1

我也使用rabbitmq，很容易达到5 / 7k msg /秒。
我的设置是:

2 HA的RabbitMq服务器3.3.1(已复制)，集群(磁盘模式)

logstash conf:

rabbitmq {
   exclusive => false
   host => '...'
   password => '...'
   user => '...'
   vhost => 'logstash'
   # No ack will boost your perf
   ack => false   
   # Too high prefetch will slow down
   prefetch_count =>  50
   auto_delete => false
   durable => true
   exchange => "logstash"
   key => 'logstash.logs'

   queue => "logstash.logs"
   threads => 8
}

可能的差异是“ack:false”和prefetch_count => 50。
如果队列中有4000 msg的消息和5个线程，则只有两个线程将处理日志:

线程1:2000 msg

线程2:1000 msg

线程3-5:0

此外，我建议检查是否不是您的输入流很慢:

停用索引器(仅装运日志)
->队列中将填充数百万条消息

停用托运人，然后重新激活索引器
->监视它消耗消息

的速度