amazon-web-services - AWS Elastic Search下降大小突然

Question

我们有一个类似社交的应用程序，我们开始在生产中使用AWS ElasticcSearch Service，但是我们开始遇到ES问题，ES版本是2.3。

集群配置为:

数据节点:2

数据节点类型:m3.medium.elasticsearch

专用主实例计数:3

专用主实例类型:t2.small.elasticsearch。

每个数据节点的容量:50GB。

问题在于，在不到三十分钟的时间内，节点可用存储容量中的一个从9 GB变为了0 GB，我们不知道这是怎么发生的。

我们有4种类型的文档，其中一种是动态类型，称为组类型，这是因为Group的每个文档都可以有N个字段，它们代表Group的好友。
就像是

{
  13: [1,2,3,4],
  5: [1,3,4],
  user_ids: [1,2,3,4,6,7],
  id: 1
}

这意味着ID为13和5的用户是ID为1的组中某些用户的 friend 。

因此，该文档可以根据用户数量增长。

如果有人遇到或遇到相同的问题，或者只是完全了解Elastic Search架构，那将是他的巨大帮助。

指数信息:

curl -XGET 'http://host/_cat/indices?v
health status index              pri rep docs.count docs.deleted store.size pri.store.size 
green  open   .kibana-4           1   1          5            0      1.9mb       1017.3kb 
green  open   X                   1   1    2259502        29575     57.5gb         28.7gb 
green  open   Y                   1   1     113156            0     21.7mb         10.8mb


curl -XGET 'http://host/_cat/nodes?v&h=host,id,ip,rp,hp,d,cpu,v,r,m,n
host     id     ip   rp hp    d    cpu v    r m  n       
x.x.x.x tIgm x.x.x.x 95  5  5.7gb   0 2.3.2 - m Shatter 
x.x.x.x puUF x.x.x.x 95  6  5.7gb   0 2.3.2 - m Justice 
x.x.x.x 1qZi x.x.x.x 97 54 17.7gb   7 2.3.2 d - Allatou 
x.x.x.x lcty x.x.x.x 97 60 17.7gb   8 2.3.2 d - Amergin 
x.x.x.x Nq1H x.x.x.x  5 15  5.7gb   0 2.3.2 - * Arkus

非常感谢!

Answer 1

我设法解决了这个问题。

我的问题被称为Mapping Explosion

就像我在Group文档类型中一样，在映射中具有变量键将导致索引不断增长。