mysql - 使用 ElasticSearch 作为我的部分数据库的主要来源

Question

我已经看到很多与此主题类似的问题(including this one，它讨论了 ElasticSearch 版本 6 如何克服其作为主要数据存储的许多限制)，但我仍然不清楚以下内容:

我正在创建一个在线购物网站，我使用 MySQL 作为我的数据库。

这是我的数据库的简化版本(用户可以在网站上发布产品进行销售)

我正在了解 ElasticSearch我想用它来搜索我网站上的产品。我不需要搜索 User 和 ProductReview - 只需搜索 Product 表。

我可以想到 2 种解决方案来实现这一点:

1. 定期将 Product 表从 MySQL 复制到 ES
2. 在 MySQL 中保留 User 和 ProductReview，在 ES 中保留 Product

据我所知，如果我使用选项 1，那么我可以使用 go-mysql-elasticsearch将 ES 与 MySQL 同步:这是一个好的解决方案吗？

我更倾向于使用选项 2，因为它更简单，而且我不需要担心数据同步问题。这个选项让我担心的是:

• 作为主要数据源，ES 是否可靠？
• 在某个时间点，如果我必须修改 Product 表结构，我是否可以在不删除和重新创建 Product Index 的情况下这样做？
• 如果是 MySQL，我通常会备份生产数据库并将其还原到测试数据库...是否仍然可以使用 ES 从生产数据库进行备份和还原以进行测试？

我没有使用 ES/NoSQL 的经验，不胜感激任何建议。

Answer 1

首先让我声明，从术语的严格意义上讲，Elasticsearch 不是数据库，理想情况下不应用作数据库。然而，没有什么能阻止你这样做(而且很多人都在这样做)并且根据 Elastic 的好人的说法，他们永远不会努力尝试使 ES 成为一个真正的数据库。 ES 的主要目标是成为一个快速可靠的搜索和分析引擎。

如果可以的话，您应该始终保留另一个主要的真实来源，如果出现问题，您可以随时从中轻松(重新)构建您的 ES 索引。

在您的情况下，选项 1 似乎是可行的方法，因为您要做的就是允许用户搜索您的产品，因此同步 ES 中的其他表没有意义。

选项 2 听起来很吸引人，但前提是您决定只使用 ES，如果您想依赖事务(ES 不支持事务)，您真的不应该这样做。您需要知道的另一件事是，如果您只有 ES 中的数据并且您的索引由于某种原因(在升级期间、ES 中的错误、代码中的错误等)而损坏，您的数据就会消失，您的业务会受苦。

所以为了更准确地回答你的问题:

1. 只要您在游戏中投入足够的精力和金钱，ES 就可以作为可靠的主要真实来源。但是，您可能还没有数百万的产品和用户，因此拥有一个至少包含三个节点的 HA 集群来搜索具有几个字段的数千个产品似乎不是一个很好的花费。

2. 当您的产品表发生变化时，很容易将表重新索引到 ES(甚至在 real time 中)，如果您有几千种产品，它的运行速度会快到您实际上没有担心它。如果由于某种原因同步失败，您可以再次运行该过程而不会浪费太多时间。随着zero-downtime alias technique ，您可以在不影响用户的情况下做到这一点。

3. ES 还提供快照/恢复功能，因此您可以拍摄 PROD 的快照并通过单个 REST 调用将其安装到您的 TEST 集群中。