elasticsearch - ElasticSearch 2.x 的 Rabbitmq 插件

Question

我已经在 ubuntu 14.04 中安装了 elasticsearch 2.3.4

http://10.x.x.11:9200/

{
  "name" : "Everett Thomas",
  "cluster_name" : "elasticsearch",
  "version" : {
    "number" : "2.3.4",
    "build_hash" : "e455fd0c13dceca8dbbdbb1665d068ae55dabe3f",
    "build_timestamp" : "2016-06-30T11:24:31Z",
    "build_snapshot" : false,
    "lucene_version" : "5.5.0"
  },
  "tagline" : "You Know, for Search"
}

我有在不同系统 (10.x.x.12) 上运行的 rabbitmq 服务器。现在，我正在尝试将 rabbitmq 服务器与 elasticsearch 连接起来，以便队列中发布的所有消息都将被使用并插入到 elastic search 中。

/etc/logstash/conf.d/rabbit.conf 包含

rabbitmq {
    host => "10.x.x.12"
    queue => "integration"
    durable => true
    key => "#"
    exchange => "integ"
    threads => 3
    prefetch_count => 50
    port => 5672
    user => "guest"
    password => "guest"
}

由于插件问题，logstash 没有出现。

service logstash configtest
Error: Expected one of #, input, filter, output at line 1, column 1 (byte 1) after  {:level=>:error}

我相信我们需要为 Elasticsearch 安装插件。在这个网站上，我没有看到可用于 elastic search > 2.0 的插件。

有人可以帮助找到 apt 插件，以便在队列中发布消息。

Answer 1

在您的 rabbit.conf 文件中，您需要将 rabbitmq 输入添加到 input {} 部分。您还需要一个包含 elasticsearch 输出的 output{} 部分，以将文档发送到您的 ES 服务器。

input {
  rabbitmq {
    host => "10.x.x.12"
    queue => "integration"
    durable => true
    key => "#"
    exchange => "integ"
    threads => 3
    prefetch_count => 50
    port => 5672
    user => "guest"
    password => "guest"
  }
}
output {
   elasticsearch {
       hosts => ["10.x.x.11:9200"]
       index => "your_index"
       document_type => "your_type"
   }
}