java - 2.1.6 Spring Boot-Elasticsearch Healthcheck失败

Question

***更新 - 我发现了一篇有用的 StackOverflow 帖子，其中其他人也遇到了类似的问题，Elasticsearch 的运行状况检查监视器失败 Springboot elastic search health management : ConnectException: Connection refused

看起来 Healthcheck 执行器使用 Rest 客户端，但是，用于映射、获取索引等的 Elasticsearch 使用 RestHighLevelClient。我们有一个 @config 文件，其中包含 esPort、esHost 和 esSchema 的变量(即端口 9200、主机 localhost 和架构 http)，代码如下，下面是“ESClient.java”类的代码:

ESClientConfig.java类

package com.cat.digital.globalsearch.configuration;

        import com.cat.digital.globalsearch.component.ESClient;
        import org.apache.http.HttpHost;
        import org.springframework.beans.factory.annotation.Value;
        import org.springframework.context.annotation.Bean;
        import org.springframework.context.annotation.Configuration;

@Configuration
public class ESClientConfig {

    @Value("${elasticSearch.host}")
    private String esHost;

    @Value("${elasticSearch.port}")
    private int esPort;

    @Value("${elasticSearch.scheme}")
    private String esScheme;

    @Bean
    public ESClient esClient() {
        return new ESClient( new HttpHost(esHost, esPort, esScheme));
    }
}

ESClient.java类

package com.cat.digital.globalsearch.component;

import com.cat.digital.globalsearch.model.IndexDocument;
import org.apache.http.HttpHost;
import org.elasticsearch.action.ActionListener;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.support.master.AcknowledgedResponse;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestClientBuilder;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.indices.CreateIndexRequest;
import org.elasticsearch.client.indices.GetIndexRequest;
import org.elasticsearch.client.indices.PutMappingRequest;

import java.io.IOException;
import java.util.List;

import static org.elasticsearch.client.RequestOptions.DEFAULT;
import static org.elasticsearch.common.xcontent.XContentType.JSON;

/**
 * Wrapper around {@link RestHighLevelClient}
 */
public class ESClient {

    private final RestClientBuilder builder;
    private final RestHighLevelClient searchClient;

    public ESClient(HttpHost... hosts) {
        this.builder = RestClient.builder(hosts);
        searchClient = new RestHighLevelClient(RestClient.builder(hosts));
    }

/**
     * @param index String represents index name in ES
     * @return true if index exists, false if not
     */
    public boolean hasIndex(String index) throws IOException {
        final GetIndexRequest request = new GetIndexRequest(index);
        try (RestHighLevelClient client = new RestHighLevelClient(builder)) {
            return client.indices().exists(request, DEFAULT);
        }
    }

所以现在我认为 Elasticsearch 的“连接被拒绝”可能是因为在开发环境中它尝试使用 Rest 客户端并且不存在正确的连接参数。但这如何解释 Healthcheck 监视器在本地工作正常呢？ RestHighLevelClient是本地使用的吗？

我在 Spring Boot GitHub 上发布了一个问题，并在此处被引用。我会尽力使这变得尽可能简单，以便我可以获得一些帮助。其实很简单。

TL;DR

• 使用 Spring Boot 执行器为 Elasticsearch 服务创建自定义运行状况检查监视器

• 创建了 1 个名为“IndexExists”的自定义 Java 类(代码如下)

• 添加了 Application.yml 文件:rest.uri = ['our-dev-url-on-aws'] 属性

我有一个在本地和远程都运行良好的应用程序，但是当使用 Spring Boot 添加自定义运行状况检查监视器来监视我的 Elasticsearch 服务时，我收到与 Elasticsearch 的“连接被拒绝”，并且运行状况检查监视器最终失败。我们在 AWS 上的负载均衡器尝试访问此端点，但由于运行状况检查无法连接到 Elasticsearch，它返回状态:“DOWN”，因此负载均衡器开始创建一个新容器。查看 CloudWatch 日志时，这种情况会在无限循环中重复发生(负载均衡器尝试创建更多容器)。我想补充一点，这在本地工作得很好 - 也就是说，当添加运行状况检查监视器并通过 POSTMAN 在执行器/运行状况端点上使用 HTTP GET 请求时，我得到了正确的 JSON 响应，即:

来自/actuator/health 端点的本地 JSON 响应(GET 请求)

{
    "status": "UP",
    "details": {
        "indexExists": {
            "status": "UP",
            "details": {
                "index": "exists",
                "value": "assets"
            }
        },
        "diskSpace": {
            "status": "UP",
            "details": {
                "total": 250790436864,
                "free": 194987540480,
                "threshold": 10485760
            }
        },
        "elasticsearchRest": {
            "status": "UP",
            "details": {
                "cluster_name": "elasticsearch",
                "status": "yellow",
                "timed_out": false,
                "number_of_nodes": 1,
                "number_of_data_nodes": 1,
                "active_primary_shards": 7,
                "active_shards": 7,
                "relocating_shards": 0,
                "initializing_shards": 0,
                "unassigned_shards": 5,
                "delayed_unassigned_shards": 0,
                "number_of_pending_tasks": 0,
                "number_of_in_flight_fetch": 0,
                "task_max_waiting_in_queue_millis": 0,
                "active_shards_percent_as_number": 58.333333333333336
            }
        }
    }
}

如您所见，健康检查监视器正在返回顶部的“details”:{“indexExists”:etc...}部分，它检查我的Elasticsearch索引是否映射到字符串=“assets”。如果是，则返回“status”:“UP”。

但是，当将此代码推送到 Azure 中的构建管道时，以便我可以在开发环境中进行测试，这是我得到的 JSON 响应:

来自/actuator/health 端点的 DEV JSON 响应(GET 请求)

{
    "status": "DOWN",
    "details": {
        "indexExists": {
            "status": "UP",
            "details": {
                "index": "exists",
                "value": "assets"
            }
        },
        "diskSpace": {
            "status": "UP",
            "details": {
                "total": 16776032256,
                "free": 9712218112,
                "threshold": 10485760
            }
        },
        "elasticsearchRest": {
            "status": "DOWN",
            "details": {
               "error": "java.net.ConnectException: Connection refused"
            }
        }
    }
}

我可以查看我们的 AWS(Amazon Web Services)集群上的错误日志，它们如下所示:

我创建并添加到代码库中的 java 类是 IndexExists.java。它实现了 HealthIndicator() 接口(interface)并使用 Spring Boot 中的执行器:

IndexExists.java 类

package com.cat.digital.globalsearch.component;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.actuate.health.Health;
import org.springframework.boot.actuate.health.HealthIndicator;
import org.springframework.stereotype.Component;
import com.cat.digital.globalsearch.data.Indices;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;


@Component
public class IndexExists implements HealthIndicator {
    private final ESClient esClient;
    private static final Logger LOGGER = LoggerFactory.getLogger(IndexExists.class);
    Map<String,String> map = new HashMap<>();


    @Autowired
    public IndexExists(ESClient esClient) {
        this.esClient = esClient;
    }

    @Override
    public Health health() {
        try {
            if (!esClient.hasIndex(Indices.INDEX_ASSETS)) {
                return Health.down().withDetail("index", Indices.INDEX_ASSETS + " index does not exist").build();
            }
        } catch (IOException e) {
            LOGGER.error("Error checking if Elasticsearch index {} exists , with exception", Indices.INDEX_ASSETS,  e);
        }
        map.put("index","exists");
        map.put("value", Indices.INDEX_ASSETS);
        return Health.up().withDetails(map).build();
    }
}

我不会发布 application.yml 的所有代码，但以下是我添加的部分。对于 spring dev 配置文件，我只添加了其余 uri，其余代码已经存在:

management:
  endpoint:
    health:
      show-details: always

spring:
  profiles: dev
elasticSearch:
  host: "aws-dev-url"
  port: -1
  scheme: https
  rest:
  uris: ["aws-dev-url"]

希望信息不要太多!我真的需要帮助...如果有人需要更多信息，请告诉我。谢谢。

Answer 1

查看您的配置，您的应用程序似乎正在使用 Spring Data Elasticsearch。这允许 Spring Data 存储库由 Elasticsearch 索引支持，并且您还可以获得 ElasticsearchRestTemplate ( see reference docs )。这就是应用程序将用于存储库的内容。

另一方面，Spring Boot 提供的运行状况指示器(在其他环境中失败的指示器)使用 org.elasticsearch.client.RestClient。您的自定义运行状况指示器(在同一环境中正常工作)似乎使用不同的东西，即 ESClient。也许这个客户端配置了不同的凭据/URI？

您似乎没有在 application.yml 文件中使用正确的配置命名空间； spring.data.elasticsearch.host 不存在。请参阅the reference documentation 。您可以看到 configuration properties in the docs 的完整列表，或者您可以使用直接支持属性自动完成的 IDE(很多都支持)。

如果一切检查完毕但仍然失败，我会尝试在其他环境中直接调用您的elasticsearch实例，例如使用curl命令，以确保该实例允许Spring Boot正在使用的运行状况检查请求。像这样的东西:

curl http://<host-in-other-env>:<port>/_cluster/health/<your-index>

编辑:

在配置文件中进行最新编辑后，您的应用程序似乎未使用 Elasticsearch REST 自动配置。您现在可以使用以下内容编辑 application.yml 文件:

spring:
  elasticsearch:
    rest:
      uris: ["aws-dev-url"]

有了这个，我认为您的 ESClient 可以直接用 RestHighLevelClient 注入(inject)，因为 Spring Boot 已经创建了一个。

TLDR:运行状况指示器在本地工作，因为它使用默认的“localhost:9200”地址，但在开发中则不然，因为它仍然依赖相同的默认值。使用正确的配置属性并使用 Spring Boot 支持应该会让事情变得更容易。