elasticsearch - 如何检测数据库中的更改并自动向 Elasticsearch 索引添加新行

Question

我已经完成的工作:

我通过本教程将hbase与elasticsearch连接起来:

http://lessc0de.github.io/connecting_hbase_to_elasticsearch.html

而且我获得了具有hbase表内容的索引，但是在将新行添加到hbase后，它不会自动添加到elasticsearch索引中。我试图将这一行添加到我的conf:
"schedule" : "* 1/5 * ? * *"
和映射:

"mappings": {
        "jdbc" : {
             "_id" : {
                 "path" : "ID"
             }
         }
} 

它分配_id = ID，并且ID在我的hbase表中具有唯一值。

它运作良好:当我向hbase添加新行时，它在不到5分钟的时间内上传到了索引中。但这对性能不利，因为它每5分钟执行一次查询，并且不会仅由于_id必须唯一而将旧内容添加到索引中。这对于小型数据库很有用，但是我的hbase表中有超过1000万行，因此索引一直在工作。

它是Elasticsearch的解决方案或插件，可以自动检测db中的更改并仅将新行添加到索引中？

我使用以下方法创建索引:

curl -XPUT 'localhost:9200/_river/jdbc/_meta' -d '{
    "type" : "jdbc",
    "jdbc" : {
        "url" : "jdbc:phoenix:localhost",
        "user" : "",
        "password" : "",
        "sql" : "select ID, MESSAGE from test",
        "schedule" : "* 1/5 * ? * *"
    }
}'

感谢帮助。

Answer 1

您正在寻找一种叫做“河”插件的东西。支持各种各样的数据库，甚至是物理文件系统，都有各种各样的支持。但是，您正在寻找的那个HBase River Plugin。