Springboot 同一次调用日志怎么用ID串起来，方便最终查找-6ren

Springboot 同一次调用日志怎么用ID串起来，方便最终查找

转载作者：知者更新时间：2024-03-12 23:36:31

前言

从文章标题很明细知道，这篇文章是介绍些什么。

这是我一位朋友的问题反馈：

好像是的，确实这种现象是普遍存在的。

有时候一个业务调用链场景，很长，调了各种各样的方法，看日志的时候，各个接口的日志穿插，确实让人头大。

模糊匹配搜索日志能解决吗？能解决一点点。但是不能完全呈现出整个链路相关的日志。

那要做到方便，很显然，我们需要的是把同一次的业务调用链上的日志串起来。

什么效果？先看一个实现后的效果图：

这样下来，我们再配合模糊匹配查找日志，效果不就刚刚的了。
cat -n info.log |grep "a415ad50dbf84e99b1b56a31aacd209c"

或者

grep -10 'a415ad50dbf84e99b1b56a31aacd209c' info.log （10是指上下10行）

不多说，开整。

正文

惯例，先看一眼这次实战最终工程的结构：

①pom.xml 依赖

<dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-logging</artifactId>
        </dependency>
        <!--lombok配置-->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <version>1.16.10</version>
        </dependency>
    </dependencies>

②整合logback，打印日志，logback-spring.xml (简单配置下)

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false">
    <!--日志存储路径-->
    <property name="log" value="D:/test/log" />
    <!-- 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <!--输出格式化-->
            <pattern>[%X{TRACE_ID}]  %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
        </encoder>
    </appender>
    <!-- 按天生成日志文件 -->
    <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--日志文件名-->
            <FileNamePattern>${log}/%d{yyyy-MM-dd}.log</FileNamePattern>
            <!--保留天数-->
            <MaxHistory>30</MaxHistory>
        </rollingPolicy>
        <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
            <pattern>[%X{TRACE_ID}]  %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
        </encoder>
        <!--日志文件最大的大小-->
        <triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
            <MaxFileSize>10MB</MaxFileSize>
        </triggeringPolicy>
    </appender>

    <!-- 日志输出级别 -->
    <root level="INFO">
        <appender-ref ref="console" />
        <appender-ref ref="file" />
    </root>
</configuration>

application.yml

server:
  port: 8826
logging:
  config: classpath:logback-spring.xml

③自定义日志拦截器 LogInterceptor.java

用途：每一次链路，线程维度，添加最终的链路ID TRACE_ID。

import org.slf4j.MDC;
import org.springframework.lang.Nullable;
import org.springframework.util.StringUtils;
import org.springframework.web.servlet.HandlerInterceptor;

import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import java.util.UUID;

/**
 * @Author: JCccc
 * @Date: 2022-5-30 10:45
 * @Description:
 */
public class LogInterceptor implements HandlerInterceptor {

    private static final String TRACE_ID = "TRACE_ID";

    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) {
        String tid = UUID.randomUUID().toString().replace("-", "");
        //可以考虑让客户端传入链路ID，但需保证一定的复杂度唯一性；如果没使用默认UUID自动生成
        if (!StringUtils.isEmpty(request.getHeader("TRACE_ID"))){
            tid=request.getHeader("TRACE_ID");
        }
        MDC.put(TRACE_ID, tid);
        return true;
    }

    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler,
                                @Nullable Exception ex) {
        MDC.remove(TRACE_ID);
    }

}

MDC(Mapped Diagnostic Context)诊断上下文映射，是@Slf4j提供的一个支持动态打印日志信息的工具。

WebConfigurerAdapter.java 添加拦截器

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.web.servlet.config.annotation.InterceptorRegistry;
import org.springframework.web.servlet.config.annotation.WebMvcConfigurer;

/**
 * @Author: JCccc
 * @Date: 2022-5-30 10:47
 * @Description:
 */
@Configuration
public class WebConfigurerAdapter implements WebMvcConfigurer {
    @Bean
    public LogInterceptor logInterceptor() {
        return new LogInterceptor();
    }

    @Override
    public void addInterceptors(InterceptorRegistry registry) {
        registry.addInterceptor(logInterceptor());
        //可以具体制定哪些需要拦截，哪些不拦截，其实也可以使用自定义注解更灵活完成
//                .addPathPatterns("/**")
//                .excludePathPatterns("/testxx.html");
    }
}

ps: 其实这个拦截的部分改为使用自定义注解+aop也是很灵活的。

到这时候，其实已经完成，就是这么简单。

我们写个测试接口，看下效果：

@PostMapping("doTest")
    public String doTest(@RequestParam("name") String name) throws InterruptedException {
        log.info("入参 name={}",name);
        testTrace();
        log.info("调用结束 name={}",name);
        return "Hello,"+name;
    }
    private void testTrace(){
        log.info("这是一行info日志");
        log.error("这是一行error日志");
        testTrace2();
    }
    private void testTrace2(){
        log.info("这也是一行info日志");

    }

效果（OK的）：

还没完。

接下来看一个场景，使用子线程的场景：

故意写一个异步线程，加入这个调用里面：

再次执行看开效果，显然子线程丢失了trackId：

所以我们需要针对子线程使用情形，做调整，思路：将父线程的trackId传递下去给子线程即可。

①ThreadPoolConfig.java 定义线程池，交给spring管理

import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.scheduling.annotation.EnableAsync;
import java.util.concurrent.Executor;

/**
 * @Author: JCccc
 * @Date: 2022-5-30 11:07
 * @Description:
 */
@Configuration
@EnableAsync
public class ThreadPoolConfig {
    /**
     * 声明一个线程池
     *
     * @return 执行器
     */
    @Bean("MyExecutor")
    public Executor asyncExecutor() {
        MyThreadPoolTaskExecutor executor = new MyThreadPoolTaskExecutor();
        //核心线程数5：线程池创建时候初始化的线程数
        executor.setCorePoolSize(5);
        //最大线程数5：线程池最大的线程数，只有在缓冲队列满了之后才会申请超过核心线程数的线程
        executor.setMaxPoolSize(5);
        //缓冲队列500：用来缓冲执行任务的队列
        executor.setQueueCapacity(500);
        //允许线程的空闲时间60秒：当超过了核心线程出之外的线程在空闲时间到达之后会被销毁
        executor.setKeepAliveSeconds(60);
        //线程池名的前缀：设置好了之后可以方便我们定位处理任务所在的线程池
        executor.setThreadNamePrefix("asyncJCccc");
        executor.initialize();
        return executor;
    }
}

② MyThreadPoolTaskExecutor.java 是我们自己写的，重写了一些方法：

import org.slf4j.MDC;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;

import java.util.concurrent.Callable;
import java.util.concurrent.Future;

/**
 * @Author: JCccc
 * @Date: 2022-5-30 11:13
 * @Description:
 */
public final class MyThreadPoolTaskExecutor  extends ThreadPoolTaskExecutor  {
    public MyThreadPoolTaskExecutor() {
        super();
    }
    
    @Override
    public void execute(Runnable task) {
        super.execute(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
    }

    @Override
    public <T> Future<T> submit(Callable<T> task) {
        return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
    }

    @Override
    public Future<?> submit(Runnable task) {
        return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
    }
}

③ThreadMdcUtil.java

import org.slf4j.MDC;

import java.util.Map;
import java.util.UUID;
import java.util.concurrent.Callable;

/**
 * @Author: JCccc
 * @Date: 2022-5-30 11:14
 * @Description:
 */
public final class ThreadMdcUtil {
    private static final String TRACE_ID = "TRACE_ID";

    // 获取唯一性标识
    public static String generateTraceId() {
        return UUID.randomUUID().toString();
    }

    public static void setTraceIdIfAbsent() {
        if (MDC.get(TRACE_ID) == null) {
            MDC.put(TRACE_ID, generateTraceId());
        }
    }

    /**
     * 用于父线程向线程池中提交任务时，将自身MDC中的数据复制给子线程
     *
     * @param callable
     * @param context
     * @param <T>
     * @return
     */
    public static <T> Callable<T> wrap(final Callable<T> callable, final Map<String, String> context) {
        return () -> {
            if (context == null) {
                MDC.clear();
            } else {
                MDC.setContextMap(context);
            }
            setTraceIdIfAbsent();
            try {
                return callable.call();
            } finally {
                MDC.clear();
            }
        };
    }

    /**
     * 用于父线程向线程池中提交任务时，将自身MDC中的数据复制给子线程
     *
     * @param runnable
     * @param context
     * @return
     */
    public static Runnable wrap(final Runnable runnable, final Map<String, String> context) {
        return () -> {
            if (context == null) {
                MDC.clear();
            } else {
                MDC.setContextMap(context);
            }
            setTraceIdIfAbsent();
            try {
                runnable.run();
            } finally {
                MDC.clear();
            }
        };
    }
}

OK，重启服务，再看看效果：

可以看的，子线程的日志也被串起来了。

OK，该篇就到这。

文章推荐：为了防止这个网站消失，我连夜用Python离线了上万张图片

文章推荐： Java EE --- Bean 作用域和生命周期

big-o - O(日志(A))+ O(日志(B))= O(日志(A * B))？
这是真的: log(A) + log(B) = log(A * B) [0] 这也是真的吗？ O(log(A)) + O(log(B)) = O(log(A * B)) [1] 据我了解 O(f
[Java/日志]日志框架打印应用程序日志代码的执行情况
0 引言我常以为配置 INFO 日志级别时，应用程序代码中日志器(logger) debug 级的日志代码，不会被执行（比如，实验1中的printTestLog函数）。但今天线上的问题，
17、Gradle 日志
日志日志是构建工具的主要界面。如果日志太多，真正的警告和问题容易被隐藏。另一方面，如果出了错，你需要找出相关的信息。Gradle 定义了6个日志级别，如表 18.1，“日志级别”所示。除了那些您通
182、故障排除和调试HBase：日志
日志关键进程日志如下…（将替换为启动服务的用户，将替换为计算机名称） NameNode： $ HADOOP_HOME / logs / hadoop- -namenode- .log Da
远程分支中特定文件行的下一次更改的 Git 日志
我正在探索项目的 git 历史 FFMpeg .我在提交之间对每个文件执行了更改 517573a67088b5c7a25c18373434e3448892ee93和 80bb65fafab1d2f5f
regex - 日志。使用正则表达式进行搜索
我不知道如何在 loggly 中使用正则表达式进行搜索。例如，使用表达式 /24nonstop.+7554/ 记录我想查找的内容. { "level_name": "WARNING", "ex
Magento API 日志
有没有办法为 API 调用打开日志记录？我们有一个第三方应用程序在使用我们的商店时遇到问题，希望获得一些调试信息。 ~我已经搜索了 bt 一无所获。我正在使用 1.7 最佳答案在一段受控的时间内
跨副本和移动的固定路径的 SVN 日志
我正在尝试获取 SVN 中所有副本/移动/等的固定路径的日志历史记录(如果可能的话，递归地)。实际上，我试图避免 peg revisions ，并将日志应用于路径而不是对象。 svn 手册提出了这个问
带有数据和时间戳的 nant 日志
如何在命令行中运行 NAnt 脚本并在日志文件中获取每个任务的时间？ using nant task or NAnt -buildfile:testscript.build testnanttarg
Coldfusion UserAgent 日志？
是否有任何默认方式来记录哪些用户代理访问了您的服务器？我需要编制一份访问我们网站的浏览器列表，以便我们知道我们最能支持什么。谢谢! 最佳答案日志CGI.HTTP_USER_AGENT ，也许在 A
spring - 日志 JavaMailSenderImpl
我在我的应用程序中使用 Spring 发送电子邮件。我想在发送电子邮件时记录 imap 服务器操作。我尝试按如下方式在我的 applicationContext.xml 中实现日志:
Kubernetes 日志——从头开始
我已经运行一个 pod 一个多星期了，从开始到现在没有重启过。但是，我仍然无法查看自它启动以来的日志，它只提供最近两天的日志。容器是否有任何日志轮换策略以及如何根据大小或日期控制轮换？我尝试了以下命
elasticsearch - 日志，度量标准和分析数据都应归入一个数据湖还是应单独存储？
背景: 我正在设置我的第一个 flex 堆栈，尽管我将开始简单，但是我想确保我从良好的体系结构开始。我最终希望有以下解决方案:托管指标，服务器日志(expressjs APM)，单页应用程序监视(AP
带单行的 Mercurial 日志
常规的 hg log 命令给出每个变更集至少 4 行的输出。例如 changeset: 238:03a214f2a1cf user: My Name date: Th
java - 日志 - 如何删除日志文件中的数据库信息
我在我的项目中使用 Spring iBatis 框架。然后使用 logback 进行记录。然后，在检查日志文件时，我可以看到系统正在使用的数据库...出于安全目的我想隐藏它这是示例日志.. 12:2
两个标签之间的 Mercurial 日志
我想使用 hg log 生成一个简短的变更日志，涵盖最新版本的变更。发行版标有“v”前缀，例如“v0.9.1”或“v1.0”。是否可以使用 revsets 选择以“v”开头的最后两个标签之间的范围，不
PHP - 将对象打印到后端功能的控制台/日志
我是 PHP 的新手，所以如果有一个简单的答案，请原谅我。我在 stackoverflow 中搜索过任何类似的问题，但找不到任何帮助。我正在开发一个现有的基于 php 的应用程序，我只需要能够将对象
Linux RADIUS 日志
我有一个名为 Radius 的程序可以验证用户登录。运行在CentOS服务器上日志在/var/log/radius.log 中它们如下 Mon Jul 24 22:17:08 2017 : Aut
Python 日志 - 如何动态控制日志记录级别
我最近从使用“日志”切换到“日志”。到目前为止，还不错，但我缺少一项关键功能——在运行时更改最低级别的能力。在“logging'，我可以调用 myLogger.setLevel(logging.I
c++ - 速度关键系统的设计跟踪/日志
假设我们有速度关键的系统(例如统计/分析、套接字编程等)，我们如何设计跟踪和日志。更具体地说，日志和跟踪通常会降低性能(即使我们有关闭机制或冗长的扩展机制)。在这种情况下，是否有任何关于如何“放置”

知者

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

Springboot 同一次调用日志怎么用ID串起来，方便最终查找

前言

正文