gpt4 book ai didi

csv - elasticsearch 使用 logstash 和 csv 删除文档

转载 作者:行者123 更新时间:2023-12-02 22:12:22 24 4
gpt4 key购买 nike

有什么方法可以使用 Logstash 和 csv 文件从 ElasticSearch 中删除文档?我阅读了 Logstash 文档,但没有发现任何内容,并尝试了一些配置,但使用“删除”操作没有任何反应

output {
elasticsearch{
action => "delete"
host => "localhost"
index => "index_name"
document_id => "%{id}"
}
}

有人试过吗?有什么特别的我应该添加到配置的输入和过滤器部分吗?我使用文件插件作为输入,使用 csv 插件作为过滤器。

最佳答案

绝对可以按照您的建议进行操作,但是如果您使用的是 Logstash 1.5,则需要使用 transport 协议(protocol),因为在执行 delete 时 Logstash 1.5 中存在错误通过 HTTP 协议(protocol)(​​参见 issue #195)

因此,如果您的 delete.csv CSV 文件格式如下:

id
12345
12346
12347

您的 delete.conf Logstash 配置如下所示:

input {
file {
path => "/path/to/your/delete.csv"
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
csv {
columns => ["id"]
}
}
output {
elasticsearch{
action => "delete"
host => "localhost"
port => 9300 <--- make sure you have this
protocol => "transport" <--- make sure you have this
index => "your_index" <--- replace this
document_type => "your_doc_type" <--- replace this
document_id => "%{id}"
}
}

然后在运行 bin/logstash -f delete.conf 时,您将能够删除其 ID 在 CSV 文件中指定的所有文档。

关于csv - elasticsearch 使用 logstash 和 csv 删除文档,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32890374/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com