Elasticsearch:处理经常更新的文档

Question

我有一个论坛应用程序。论坛中有多个主题(帖子)。每个主题都有诸如 viewCount(该主题被论坛用户查看了多少次)之类的字段。

我希望主题的所有字段都取自 ES(id、日期、标题、内容和 viewCount)。然而，在这种情况下，在每个主题 View 之后，ES 必须重新索引整个文档。
我问了关于堆栈溢出部分更新的问题 - Partial update on field that is not indexed .重要的是要注意 viewCount 字段没有索引，它只是存储在 ES 中。

有两个术语——部分更新和部分索引。 ES 中有部分更新，您只能更改几个字段。但是没有部分重新索引，这意味着即使你只更改一个字段，ES 也会重新索引整个文档。这意味着如果该主题被查看 1000 次，ES 将对其进行索引 1000 次。如果我有很多用户，许多文档将被一次又一次地索引。这是第一个策略。

第二种策略是将主题的一些字段保留在索引中，一些保留在数据库中。在这种情况下，我可以从数据库中获取 viewAcount。此外，然后我可以将所有字段存储在数据库中，并将索引仅用作索引，即获取当前主题的 ID。

解决此类问题的最佳方法是什么？

Answer 1

关于文档的部分更新，重要的是要认识到，虽然 API 让您执行部分更新，但在幕后，它通过检索文档、更改文档和重新索引来执行完整更新。以下内容来自 Elasticsearch 网站:

Partial Updates to Documents

In Updating a Whole Document, we said that the way to update a document is to retrieve it, change it, and then reindex the whole document. This is true. However, using the update API, we can make partial updates like incrementing a counter in a single request.

We also said that documents are immutable: they cannot be changed, only replaced. The update API must obey the same rules. Externally, it appears as though we are partially updating a document in place. Internally, however, the update API simply manages the same retrieve-change-reindex process that we have already described. The difference is that this process happens within a shard, thus avoiding the network overhead of multiple requests. By reducing the time between the retrieve and reindex steps, we also reduce the likelihood of there being conflicting changes from other processes.

要既将全文数据存储在 Elasticsearch 中，又要在不重新索引整个文档的情况下拥有经常更改的字段，您需要将这些项目存储在其他地方。这可以是另一个 Elasticsearch 索引或另一个系统中的元数据/计数器存储。

对于常见用例，您可以对两者运行相同的查询并合并结果。这些很可能是简单的过滤器，并且对不会更改的字段进行排序，例如题材、创作时间、作者等

对于不匹配的搜索，例如全文查询，您可以 (a) 不显示该数据，或者 (b) 使用最终一致的方法，您可以使用更新后的计数定期更新 Elasticsearch 主题存储.许多对一致性要求不高的系统可以使用最终一致性方法，包括 Stack Overflow、Netflix 等。例如，在某些网站上，您会在一个页面/小部件上获得一个计数，而在另一个页面/上获得另一个计数/小部件由于最终一致的设计。