elasticsearch - 批量删除elasticsearch

Question

我正在使用 flex 搜索2.2。

这是文件数

curl'xxxxxxxxx:9200 / _cat / indices？v'

yellow open   app                 5   1   28019178         5073     11.4gb         11.4gb

在“app”索引中，我们有两种类型的文档。

“日志”

“系统日志”

现在，我想删除“syslog”类型下的所有文档。

因此，我尝试使用以下命令

 curl -XDELETE "http://xxxxxx:9200/app/syslog"

但是出现以下错误

No handler found for uri [/app/syslog]

我还安装了按查询删除插件。有什么办法可以执行批量删除操作？

目前，我正在通过获取ID删除记录。

curl -XDELETE "http://xxxxxx:9200/app/syslog/A121312"

我花了大约5分钟的时间才能删除10000条记录。我有超过1000000个文档需要删除。请帮忙。

[编辑-1]

我运行以下查询以删除syslog类型的docs

curl -XDELETE 'http://xxxxxx:9200/app/syslog/_query' -d'
{
  "query": {
    "bool": {
      "must": [
        {
          "match_all": {}
        }
      ]
    }
  }
}'

结果如下

{"found":false,"_index":"app","_type":"syslog","_id":"_query","_version":1,"_shards":{"total":2,"successful":1,"failed":0}}

我曾经查询从索引中获取此消息

 {
      "_index" : "app",
      "_type" : "syslog",
      "_id" : "AVckPMQnKYIebrQhF556",
      "_score" : 1.0,
      "_source" : {
        "message" : "some test message",
        "@version" : "1",
        "@timestamp" : "2016-09-13T15:49:04.562Z",
        "type" : "syslog",
        "host" : "1.2.3.4",
        "priority" : 0,
        "severity" : 0,
        "facility" : 0,
        "facility_label" : "kernel",
        "severity_label" : "Emergency"
}

[编辑2]

通过查询列为插件删除

sudo /usr/share/elasticsearch/bin/plugin list
Installed plugins in /usr/share/elasticsearch/plugins/node1:
    - delete-by-query

Answer 1

在最近几天用7700万份不需要的文档填充了Elasticsearch之后，我遇到了类似的问题。在查询中设置超时时间是您的 friend 。如所提到的here。 curl 也具有增加的参数(-m 3600)

curl --request DELETE \
  --url 'http://127.0.0.1:9200/nadhled/tree/_query?timeout=60m' \
  --header 'content-type: application/json' \
  -m 3600 \
  --data '{"query":{
            "filtered":{
              "filter":{
                "range":{
                  "timestamp":{
                    "lt":1564826247
                   },
                  "timestamp":{
                    "gt":1564527660
                  }
                }
              }
            }
          }
        }'

我知道这不是您的批量删除，但我在研究过程中找到了此页面，因此将其发布在此处。希望它也对您有帮助。