elasticsearch - 处理Elasticsearch中的重复记录

Question

我正在使用Hadoop + ELK堆栈来构建分析堆栈。我试图每天刷新索引。

我正在使用来自CSV格式的第三方的数据。我无法控制输入数据，即我不能要求更改CSV文件的架构。

问题是CSV记录中没有唯一的ID，或者甚至合并列以创建唯一的ID也将不起作用。因此，在刷新Elasticsearch时，会将重复数据添加到索引中。

所以，如果第一天的数据像

Product1,Language1,Date1,$1
Product2,Language2,Date1,$12

第2天的数据变为

Product1,Language1,Date1,$1
Product2,Language2,Date1,$12
Product1,Language1,Date1,$1
Product2,Language2,Date1,$12
Product3,Language1,Date2,$5(new record added on day2)

有什么好方法可以在ELK中处理此问题。我正在使用Logstash来使用csv文件。

Answer 1

我认为这全都与文档“_id”有关。

如果每个文档都有唯一的“_id”，那么就不会有问题，因为您只需将文档“更新”为相同的值即可。如果需要，您甚至可以将映射设置为不允许更新。

您的问题是您没有将文档的“_id”链接到文档的内容(在某些情况下还可以)。

我猜一个简单的解决方案是创建自己的“my_id”字段并将“_id”的路径设置为它，例如here。

然后，问题就变成了如何创建“my_id”字段。我会在文档上使用哈希。

一个示例python片段将是(我确定您可以找到合适的ruby插件):

import hashlib
hash_object = hashlib.sha1(b"Product2,Language2,Date1,$12")
hex_dig = hash_object.hexdigest()
print(hex_dig)