ElasticSearch- 单节点 unassigned_shards 故障排查-6ren

ElasticSearch- 单节点 unassigned_shards 故障排查

转载作者：知者更新时间：2024-03-13 06:51:17

25

4

故障现象

在部署ELK的单机环境，当连接Kibana时候提示下面错误，即使重启整个服务也是提示Kibana server is not ready.

{"message":"all shards failed: [search_phase_execution_exception] all shards failed","statusCode":503,"error":"Service Unavailable"}

排查过程

前段时间ELK服务还是正常的，进入容器去ping ip 也都没问题，服务也都是Up 状态； ElasticSearch 服务也可以通过http://localhost:9200/ 访问到，但是就是kibana 不能连接ElasticSearch

再查看 kibana 日志发现如下信息, 其中包含了no_shard_available_action_exception, 看起来是分片 的问题。

{
    "type": "error",
    "@timestamp": "2020-09-15T00:41:09Z",
    "tags": [
        "warning",
        "stats-collection"
    ],
    "pid": 1,
    "level": "error",
    "error": {
        "message": "[no_shard_available_action_exception] No shard available for [get [.kibana][doc][config:6.8.11]: routing [null]]",
        "name": "Error",
        "stack": "[no_shard_available_action_exception] No shard available for [get [.kibana][doc][config:6.8.11]: routing [null]] :: {\"path\":\"/.kibana/doc/config%3A6.8.11\",\"query\":{},\"statusCode\":503,\"response\":\"{\\\"error\\\":{\\\"root_cause\\\":[{\\\"type\\\":\\\"no_shard_available_action_exception\\\",\\\"reason\\\":\\\"No shard available for [get [.kibana][doc][config:6.8.11]: routing [null]]\\\"}],routing [null]]"
    }

通过 ES可视化工具-cerebro 查看

实际当时情况是"红色"的，而不是目前看到的 "黄色"， heap/disk/cup/load 基本都是红色的, 可能因为当时手动删除了几个index原因

黄色虽然kibana可以访问ES了，但是黄色代表ES仍然是不健康的

查看单节点Elasticsearch健康状态

curl -XGET http://localhost:9200/_cluster/health\?pretty

{
  "cluster_name" : "elasticsearch",
  "status" : "red",
  "timed_out" : false,
  "number_of_nodes" : 1,
  "number_of_data_nodes" : 1,
  "active_primary_shards" : 677,
  "active_shards" : 677,
  "relocating_shards" : 0,
  "initializing_shards" : 4,
  "unassigned_shards" : 948,
  "delayed_unassigned_shards" : 0,
  "number_of_pending_tasks" : 5,
  "number_of_in_flight_fetch" : 0,
  "task_max_waiting_in_queue_millis" : 599,
  "active_shards_percent_as_number" : 41.559238796807854
}

从上面的 unassigned_shards 可以存在大量分片没有被分配，当时看到的实际有1000多个。

查询 UNASSIGNED 类型的索引名字

curl -XGET http://localhost:9200/_cat/shards

故障原因大概确定了，应该就是unassigned_shards导致的下面就看如何解决

解决方案

如果是集群环境，可以考虑使用 POST /_cluster/reroute 强制把问题分片分配到其中一个节点上了
但是对于目前的单机环境，从上面截图可以看出存在5个 unassigned 的分片，新建索引时候，分片数为5，副本数为1，新建之后集群状态成为yellow，其根本原因是因为集群存在没有启用的副本分片。

解决办法就是，在单节点的elasticsearch集群，删除存在副本分片的索引，新建索引的副本都设为0。然后再查看集群状态

通过如果下命令，设置number_of_replicas=0,将副本调整为0. 如下图所示，es变成了“绿色”

curl -XPUT 'http://localhost:9200/_settings' -H 'content-Type:application/json' -d'
{
"number_of_replicas": 0
}'

知识点

副本分片 主要目的就是为了故障转移，如果持有主分片的节点挂掉了，一个副本分片就会晋升为主分片的角色。

所以副本分片和主分片是不能放到一个节点上面的，可是在只有一个节点的集群里，副本分片没有办法分配到其他的节点上，所以出现所有副本分片都unassigned得情况。因为只有一个节点，如果存在主分片节点挂掉了，那么整个集群理应就挂掉了，不存在副本分片升为主分片的情况。

参考

https://www.datadoghq.com/blog/elasticsearch-unassigned-shards/#monitoring-for-unassigned-shards
https://stackoverflow.com/questions/19967472/elasticsearch-unassigned-shards-how-to-fix
https://www.cnblogs.com/ningskyer/articles/5986642.html

25

4

0

文章推荐：基于Let's Encrypt生成免费证书-支持多域名泛域名证书

文章推荐：【Jenkins系列】-快速上手安装

文章推荐： CSS中不同单位的对比

文章推荐：【Jenkins系列】-备份机制

JavaFX - 每行迭代 GridPane 节点 - 每行读取 GridPane 节点
我正在使用 JavaFX 8 创建一个应用程序。我使用拖/放动态更改网格 Pane 的内容。我希望每行或每行/列迭代 GridPane 内容。JavaFX 允许通过指定行和列在 GridPane 中添
javascript - 错误:无法在“节点”上执行“appendChild”:参数1不是“节点”类型
我正在尝试将图像拖放到div上。图像没有被拖到div上并给出以下错误 Uncaught TypeError: Failed to execute 'appendChild' on 'Node': pa
java - 如何在 ARcore 的帮助下相对于一个 anchor 定位 anchor /节点/ anchor 节点？
我正在 android studio 中创建内部构建 AR 导航。我正在寻找一种方法将 anchor 与其他 anchor 或 anchor 节点/节点“连接”起来。我不确定使用哪一个。基于我将强制用
hadoop - 我的 2 节点 hadoop 比我的 4 节点 hadoop 表现更好
我在 Hive 上运行一些作业:首先是 4 节点，然后是 2 节点。令我惊讶的是，我的 2 节点性能比我的 4 节点更好。首先，我在一个 4 节点(4 个事件节点)上运行查询，然后关闭 2 个节点(
c++ - ' =' : cannot convert from ' CircularDoubleDirectedList::节点 *' to ' 节点 *'
我有 Node* current ，我在其中存储指向列表“顶部”当前节点的指针。当我将一个新节点设置为当前节点时，出现错误: '=' : cannot convert from 'CircularDo
linux - 无法使用 dcos 节点 ssh --master-proxy --leader sshing 进入 dcos 节点
我是 dcos Mesos 的新手，在本地 Ubuntu 机器上安装了 dc os。我可以查看 dcos 仪表板。但我无法使用 dcos node ssh --master-proxy --lea
JavaFX:如何定位组件/节点？
在 JavaFX 中，是否有类似 setLayout(); 的东西？或 setBounds(); ? 例如，我想将按钮定位到我想要的位置。最佳答案 JavaFX 场景图上的所有内容都是 Node .
JavaFX 节点 - 如何让最终用户调整它们的大小？
我正在开发一个 JavaFX 应用程序，其中我开发的类(从 javafx.scene.Parent 扩展)是根据用户在 ListView 控件中单击的条目动态创建的。只是要清楚这个节点，它不是使用像
uml - 节点-边缘关系的类图
我正在尝试为节点-边缘关系创建一个类图，因为它可以在有向图中找到。我想传达的是，Nodes 引用了 Edges，Edges 也引用了 Nodes。每个 Edge 都恰好需要两个 Node(源和目标)。
hadoop - 如何指定应在其上运行mapreduce的各个tasktrackers(节点)？
在mapreduce作业期间，单个任务将在随机节点上运行，是否有任何方法限制应在其中运行任务的节点？最佳答案 Hadoop不会选择节点来随机运行任务。考虑到数据局部性，否则将有很多网络开销。任务与
Cassandra 节点 - 重建与重建维修
有什么区别: a) nodetool 重建 b) nodetool 修复 [-pr] 换句话来说，各个命令到底是做什么的？最佳答案 nodetool重建:类似于引导过程(当您向集群添加新节点时)，但
java - 节点 : 没有数据类型
我已将第一个 OneToMany 关系添加到我的 hibernate 3.6.10 项目中。这是一个类: /** * */ package com.heavyweightsoftware.leal
javascript - 获取触发事件的元素(节点)
是否有可能找到正在监听触发当前函数的事件的元素？在下面的代码中，event.target 返回 #xScrollPane 和 event.currentTarget 和 event 的最低子节点.f
javascript - 覆盖数据而不生成新的键/节点
我正在尝试覆盖我数据库中的一些数据。结构很简单，就是: recipes { user_1{ recipe_1{data} recipe_2{data} } user_2{
javascript - 输入后运行JS函数，节点
我使用 setInterval 来运行该函数，但它会多次执行函数 2... 如何在输入中插入一个值后执行函数第一个输入与其余输入的距离不同如何在插入 val(tab 选项)后将插入从 1 个输入移
c++ - “节点”不是全局命名空间的成员？
我不知道代码有什么问题，但在 visual studio 中不断收到这些错误消息。 Error 18 error C1903: unable to recover from previous e
JavaScript/jQuery 节点
我正在尝试从其类中获取 SharePoint 搜索导航节点的对象。 var nodes = $("div.ms-qSuggest-listItem"); 我正在获取节点对象，现在想要获取“_promp
javascript - 节点|运行JS文件时出错
D:\nodeP>node main.js module.js:327 抛出错误； ^ 错误:在 Function.Module 的 Function.Module._resolveFilename
c++ - 节点(){}是什么意思？
struct node{ int key, prior, cnt, val; node *l, *r; node(){} node(int nkey) : key(nkey),
c++ - 如何删除正在使用的对象(节点)
我有以下代码使用迭代器将项目插入双链表。这就是我们被要求这样做的方式。代码有效，但问题是我有 24 字节的绝对内存泄漏。 NodeIterator insert(NodeIterator & itrP

首页

博学

6Ren·AI

商城