elasticsearch - 无法将主题映射到kafka elasticsearch连接器中的指定索引

Question

尝试将主题“名称:localtopic”映射到索引“名称:indexoftopic”，
其在 flex 搜索“localtopic和indexoftopic”中创建两个新索引，并且仅在主题名称索引“localtopic”中可见主题数据，连接器未显示错误(分布式模式)

我的配置是

 "config" : {
  "connector.class" : "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
  "tasks.max" : "1",
  "topics" : "localtopic", 
  "topic.index.map" : "localtopic:indexoftopic",
  "connection.url" : "aws elasticsearch url",
  "type.name" : "event",
  "key.ignore" : "false",
  "schema.ignore" : "true",
  "schemas.enable" : "false",
  "transforms" : "InsertKey,extractKey",
  "transforms.InsertKey.type" : "org.apache.kafka.connect.transforms.ValueToKey",
  "transforms.InsertKey.fields" : "event-id",
  "transforms.extractKey.type" : "org.apache.kafka.connect.transforms.ExtractField$Key",
  "transforms.extractKey.field" : "event-id"
 }

索引名称:indexoftopic是在elasticsearch中创建的，但数据可以通过index_name:localtopic看到
kafkaversion:2.3连接器版本:5 elasticsearchversion:3.2.0

即使在日志INFO-topic.regex =“”中，我也不知道他的选项，有人可以建议。如何使用这个？？？

Answer 1

下面为我​​工作，但是，我只将1个主题映射到另一个索引名称

"transforms": "addSuffix",  
"transforms.addSuffix.type": "org.apache.kafka.connect.transforms.RegexRouter",
"transforms.addSuffix.regex": "topic1.*",
"transforms.addSuffix.replacement": "index1",

因此，通过上述转换，可以转换任何主题，例如 topic1, topic1-test, topic1<anystring>将被映射到 index1
另外，您也可以在替换中使用主题名称，方法如下:更改最后两行，

    "transforms.addSuffix.regex": "topic.*",
    "transforms.addSuffix.replacement": "index$1",

基本上，您可以使用正则表达式替换部分或全部主题名称。