elasticsearch - 何时启动其他Elasticsearch节点？

Question

Closed. This question is opinion-based。它当前不接受答案。












想改善这个问题吗？更新问题，以便 editing this post用事实和引用来回答。

在8个月前关闭。



Improve this question




我正在尝试用Elasticsearch替换Solr设置。这是一个新设置，尚未投入生产，因此我有很大的空间来摆弄各种东西并使它们运转良好。

我有非常大量的数据。我正在索引一些实时数据并将其保留7天(通过使用_ttl字段)。我不在索引中存储任何数据(并禁用了_source字段)。我预计我的指数将稳定在 200亿行左右。我将把这些数据放入2-3个命名索引中。到目前为止，多达数十亿行的搜索性能是完全可以接受的，但是索引性能是一个问题。

我对ES如何在内部使用分片感​​到困惑。我创建了两个ES节点，每个节点都有一个单独的数据目录，每个节点有8个索引和1个副本。当查看集群状态时，每个节点仅看到一个碎片和一个副本。每个节点都不会在内部运行多个索引吗？ (检查磁盘上的存储位置表明，肯定只有一个Lucene索引存在)。 -已解决，因为我的索引设置未从配置中正确提取。现在，使用API​​创建索引并指定分片和副本的数量已经产生了我期望看到的结果。

另外，我尝试运行同一ES节点的多个副本(来自相同配置)，它识别出已经有一个副本在运行，并创建了自己的工作区。这些新的节点实例似乎在磁盘上也只有一个索引。 -既然每个节点实际上都在使用多个索引，那么具有多个索引的单个节点足以限制整个系统，因此这不是问题。

何时启动其他Elasticsearch节点，以获得最佳索引性能？我是否应该有多个节点，每个节点运行1个索引1副本，或者更少的节点具有大量索引？为了让单个节点完成更多工作，我的配置中缺少什么吗？

另外:是否有度量标准可以知道仅HTTP节点何时过载？现在，我只有一个节点专用于HTTP，但是除了CPU使用率之外，我无法确定它是否运行正常。什么时候启动其他HTTP节点并拆分索引软件以指向各个节点？

最佳答案

首先让我们澄清一下术语:

节点:一个正在运行的Elasticsearch实例(一个Java进程)。通常，每个节点都在自己的计算机上运行。

群集:一个或多个具有相同群集名称的节点。

索引:或多或少像数据库。

类型:或多或少类似于数据库表。

分片:实际上是一个lucene索引。每个索引由一个或多个分片组成。分片可以是主分片(或简称为分片)或副本。

创建索引时，可以指定分片数和每个分片的副本数。默认值为5个主分片，每个分片1个副本。分片会自动均匀地分布在集群中。副本分片将永远不会在相关主分片所在的同一机器上分配。

您在集群状态中看到的内容很奇怪，建议您使用 get settings API检查索引设置。看起来您仅配置了一个分片，但是如果您有多个索引，无论如何您应该会看到更多的分片。如果您需要更多帮助，则可以发布从elasticsearch获得的输出。

实际使用多少个分片和副本取决于您的数据，访问它们的方式以及可用节点/服务器的数量。最佳做法是稍微分片以便在您向集群中添加更多节点时重新分配分片，因为一旦创建索引，您(暂时)无法更改分片的数量。否则，如果您愿意对数据进行完整的索引编制，则可以始终更改分片的数量。

由于每个分片实际上都是Lucene实例，因此每个附加分片都需要付费。每台计算机可以拥有的最大分片数量实际上取决于可用的硬件以及您的数据。很高兴知道，每个分片具有100个索引，或者一个分片具有100个索引，实际上是相同的，因为在两种情况下，您都有100个Lucene实例。

当然，在查询时，如果要查询由100个分片组成的单个elasticsearch索引，elasticsearch将需要全部查询它们以获取正确的结果(除非您为文档使用特定的路由，然后仅查询特定的分片)。这将产生性能成本。

您可以使用 Cluster Nodes Info API轻松检查集群和节点的状态，通过它您可以检查很多有用的信息，所有这些信息都是您需要的，以便知道您的节点是否运行顺利。甚至更容易，有几个插件可以通过一个不错的用户界面(无论如何内部使用Elasticsearch API)检查这些信息: paramedic和 bigdesk。

关于elasticsearch - 何时启动其他Elasticsearch节点？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12409438/

上一篇：elasticsearch - ElasticSearch:将 “not_analyzed”字段设置为 “store” :“yes”的影响？

下一篇：elasticsearch - Kibana 返回 "Connection Failed"

相关文章：

java - 复制自本地 : `/user/hduser/input' : No such file or directory

elasticsearch - 碎片的Elasticsearch大小

python - 在Python中访问大量未排序的数组元素

react-native - 未强制执行 ReactiveSearch 默认查询

elasticsearch - Elasticsearch 索引是否在删除时保留信息？

database - 跨分片搜索？

hibernate - 如何在ElasticSearch Hibernate集成中更改分片数量

hadoop - HBase-使用一列带有值列表与使用一列族带有列列表的优缺点是什么？

lucene - 与 ElasticSearch 中的字符串相比，按整数过滤是否明显更快？

elasticsearch - 如何集成Elasticsearch进行实时可视化？

Answer 1

首先让我们澄清一下术语:

节点:一个正在运行的Elasticsearch实例(一个Java进程)。通常，每个节点都在自己的计算机上运行。

群集:一个或多个具有相同群集名称的节点。

索引:或多或少像数据库。

类型:或多或少类似于数据库表。

分片:实际上是一个lucene索引。每个索引由一个或多个分片组成。分片可以是主分片(或简称为分片)或副本。

创建索引时，可以指定分片数和每个分片的副本数。默认值为5个主分片，每个分片1个副本。分片会自动均匀地分布在集群中。副本分片将永远不会在相关主分片所在的同一机器上分配。

您在集群状态中看到的内容很奇怪，建议您使用 get settings API检查索引设置。看起来您仅配置了一个分片，但是如果您有多个索引，无论如何您应该会看到更多的分片。如果您需要更多帮助，则可以发布从elasticsearch获得的输出。

实际使用多少个分片和副本取决于您的数据，访问它们的方式以及可用节点/服务器的数量。最佳做法是稍微分片以便在您向集群中添加更多节点时重新分配分片，因为一旦创建索引，您(暂时)无法更改分片的数量。否则，如果您愿意对数据进行完整的索引编制，则可以始终更改分片的数量。

由于每个分片实际上都是Lucene实例，因此每个附加分片都需要付费。每台计算机可以拥有的最大分片数量实际上取决于可用的硬件以及您的数据。很高兴知道，每个分片具有100个索引，或者一个分片具有100个索引，实际上是相同的，因为在两种情况下，您都有100个Lucene实例。

当然，在查询时，如果要查询由100个分片组成的单个elasticsearch索引，elasticsearch将需要全部查询它们以获取正确的结果(除非您为文档使用特定的路由，然后仅查询特定的分片)。这将产生性能成本。

您可以使用 Cluster Nodes Info API轻松检查集群和节点的状态，通过它您可以检查很多有用的信息，所有这些信息都是您需要的，以便知道您的节点是否运行顺利。甚至更容易，有几个插件可以通过一个不错的用户界面(无论如何内部使用Elasticsearch API)检查这些信息: paramedic和 bigdesk。