twitter - Flume与TwitterSource和Elasticsearch Sink

Question

我正在尝试使用flume来使用Twitter Stream API并将该tweet索引到我的elasticsearch中。我将flume.conf设置为使用com.cloudera.flume.source.TwitterSource作为Twitter源(带有我的开发人员 token )，并且对接收器使用默认的elastisearch。

我能够获取推文(因为我也将其保存到HDFS中，并且当我打开文件时可以看到推文)，但是当我搜索我的elasticsearch时，得到的响应如下:

 {
      _index: twitter-2014-02-14
      _type: tweet-rt
      _id: ilL5ZrBRSlqrZcsVUbnO-g
      _version: 1
      _score: 1
      _source: {
      @message: org.elasticsearch.common.xcontent.XContentBuilder@12da4409
      @timestamp: 2014-02-14T10:16:13.000Z
      @fields: {
      timestamp: 1392372973000
      }

  }

这是我的水槽配置示例。

# - ElasticSearch Sink                                                                                                                                
TwitterAgent.sinks.ES.type = elasticsearch
TwitterAgent.sinks.ES.channel = FileChannel
TwitterAgent.sinks.ES.hostNames = 192.168.10.100:9300
TwitterAgent.sinks.ES.indexName = twitter
TwitterAgent.sinks.ES.indexType = tweet-rt
TwitterAgent.sinks.ES.clusterName = testou

我是否还需要添加其他内容？我不明白为什么ES无法反序列化我的推文。

有任何想法吗？

谢谢

Answer 1

真奇怪它正在XContentBuilder上执行某种形式的identityHashCode来获取该消息，但不应这样做。

我想建议您清除Flume并重新安装。我会担心类路径和JAR依赖问题。

什么版本的Flume？