elasticsearch - 如何调整小索引的 translog 保留？

Question

目前正在开发电子商务解决方案，我们正在使用 Elasticsearch 6.x 来启用产品的全文搜索。

我们有 88 个索引，每个索引的 Primary.store.size 约为 50mb。我们为每个主数据库都有一个副本。我们经常通过使用固定 _id 的批量索引来重新生成这些索引。正因为如此，translog 正在增长。

我的每个索引都与通过 _cat/indices 提供的这些数据非常相似:

    index      pri rep docs.count  docs.deleted store.size  pri.store.size
    myindex_1   1   1     105533            0     79.4mb         39.7mb

对于相同的索引，以下是 _cat/recovery 数据:

index    shard  time  type        stage snapshot files files_recovered files_percent files_total bytes   bytes_recovered bytes_percent bytes_total translog_ops translog_ops_recovered translog_ops_percent
myindex_1 0     14ms  empty_store done  n/a      0     0               0.0%          0           0       0               0.0%          0           0            0                      100.0%
myindex_1 0     22ms  peer        done  n/a      1     1               100.0%        1           233     233             100.0%        233         0            0                      100.0%

对于同一索引，以下是 _cat/shards 数据:

index      shard prirep state     docs  store 
myindex_1  0     p      STARTED 105533 39.7mb 
myindex_1  0     r      STARTED 105533 39.7mb 

在默认配置中，translog 保留大小为 512mb，保留期限为 12 小时。根据文档，translog 现在保留更长时间，以实现更快的分片恢复机制。

鉴于我们索引的大小与 translog 大小相比非常小，我可以安全地调整 translog 保留期限或保留大小吗？或者我是否会更好地增加存储空间以考虑默认的 translog 属性？

Answer 1

保留设置控制应保留 translog 文件的数量和时间，以便在恢复期间刷新脱机副本。

在 translog 文件中保存的信息越多，成功恢复的机会就越大，但大文件将需要更多的服务器资源，并且处理时间也会更长。所以，你必须在这里保持良好的平衡。

如果您遇到高吞吐量工作负载，保留大小的默认设置 512 MB 是不够的，因此您可以安全地将其增加到 1024 MB。保留期限也可以更改，并且可能会导致您增加磁盘存储，因此更新这两个设置后，请密切关注可用磁盘空间，并根据需求规划所需的磁盘存储升级。/p>