elasticsearch - 卡夫卡数据到 Elasticsearch

Question

我正在尝试使用 kafka connect elasticsearch 将数据从 apache kafka 生产者发送到 Elasticsearch

在 elasticsearch 中出现以下错误:

[2017-12-21T11:00:54,979][DEBUG][o.e.a.b.TransportShardBulkAction] 
[pageviews7][0] failed to execute bulk item (index) BulkShardRequest 
[[pageviews7][0]] containing [index {[pageviews7][kafkaconnect]
[pageviews7+0+0], source[{"key1":"value1"}]}]
org.elasticsearch.index.mapper.MapperParsingException: failed to find 
type parsed [string] for [key1]

以下是我的 kafka-connect-elasticsearch 属性文件:

name=elasticsearch-sink
connector.class=
io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
tasks.max=1
topics=pageviews7
key.ignore=true
connection.url=http://localhost:9200
type.name=kafkaconnect
schemas.enable=false
schema.ignore=true

Answer 1

试试 stream-reactor用于 Elastic-Search 的 Kafka 连接器。一种使用 TCP 协议(protocol)，另一种使用 HTTP 协议(protocol)，它们已经在生产环境中进行了实战测试，每天将 5+ 十亿个事件下沉到 ES 索引中，并且它们非常易于配置和有据可查

https://github.com/landoop/stream-reactor