java - 自动化 mongodb 和 elasticsearch 同步

Question

我目前正在开发一个项目，我们的主要数据库是 mongodb，我们使用 elasticsearch 进行搜索。我们已经通过 java 应用程序将数据插入到 mongodb 中。我们使用 River 插件来同步数据。到目前为止，我们已经通过执行下面提到的shellscript文件手动完成了mongodb和elasticsearch之间的数据同步。 (setup.sh && bash.sh)

//setup.sh
curl -XPOST http://localhost:9200/classdata -d @setup.json

//setup.json
{
"settings": {
"number_of_shards": 1,
"number_of_replicas": 0
},
"mappings": {
"classdata": {
  "properties": {
    "className": {
      "type": "string"
    },
"jarID": {
      "index": "not_analyzed",
      "type": "string"
    },
    "jarFileName": {
      "index": "not_analyzed",
      "type": "string"
    },
    "dependencies": {
      "properties": {
        "methodSignature": {
          "type": "string"
        },
        "dependedntClass": {
          "type": "string"
        }
      }
    }
  }
}
}
}

//bash.sh
curl -XPUT "localhost:9200/_river/classdata/_meta" -d '
{
"type": "mongodb",
"mongodb": {
"servers": [
  { "host": "127.0.0.1", "port": 27017 }
],
"options": { "secondary_read_preference": true },
"db": "E",
"collection": "ClassData"
},
"index": {
"name": "classdata",
"type": "classdata"
}
}'

但是现在我们的要求发生了变化。现在我们需要自动化这个过程，比如将数据插入到 mongodb 后，我们必须在 elasticsearch 和 mongodb 之间自动同步数据。我不知道该怎么做。如果有人知道如何自动化这一过程，请帮助我。

Answer 1

强烈推荐您monstache 。它在后台运行并自动将数据从 Mongodb 同步到 Elasticsearch。并且您可以配置指定要同步哪个数据库以及哪种操作(插入、更新、删除...)，配置选项在 here 中列出。