浅析JavaWeb项目架构之Redis分布式日志队列-6ren

浅析JavaWeb项目架构之Redis分布式日志队列

转载作者：qq735679552 更新时间：2022-09-27 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章浅析JavaWeb项目架构之Redis分布式日志队列由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

摘要:

架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Redis做消息队列罢了。为什么需要消息队列？当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异.

架构、分布式、日志队列，标题自己都看着唬人，其实就是一个日志收集的功能，只不过中间加了一个Redis做消息队列罢了.

浅析JavaWeb项目架构之Redis分布式日志队列

为什么需要消息队列?

当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异.

比如我们系统中常见的邮件、短信发送，把这些不需要及时响应的功能写入队列，异步处理请求，减少响应时间.

如何实现?

成熟的JMS消息队列中间件产品市面上有很多，但是基于目前项目的架构以及部署情况，我们采用Redis做消息队列.

为什么用Redis?

Redis中list数据结构，具有“双端队列”的特性，同时redis具有持久数据的能力，因此redis实现分布式队列是非常安全可靠的.

它类似于JMS中的“Queue”，只不过功能和可靠性(事务性)并没有JMS严格。Redis本身的高性能和"便捷的"分布式设计(replicas,sharding),可以为实现"分布式队列"提供了良好的基础.

提供者端。

项目采用第三方redis插件spring-data-redis，不清楚如何使用的请自行谷歌或者百度.

redis.properties:

 
    ? 
   
         #redis 配置中心  
        
         redis.host= 
         192.168 
         . 
         1.180 
        
         redis.port= 
         6379 
        
         redis.password= 
         123456 
        
         redis.maxIdle= 
         100 
        
         redis.maxActive= 
         300 
        
         redis.maxWait= 
         1000 
        
         redis.testOnBorrow= 
         true 
        
         redis.timeout= 
         100000

redis配置:

 
    ? 
   
         <!-- redis 配置 --> 
        
         <bean id= 
         "jedisPoolConfig" 
         class 
         = 
         "redis.clients.jedis.JedisPoolConfig" 
         /> 
        
         <bean id= 
         "jedisConnectionFactory" 
        
         class 
         = 
         "org.springframework.data.redis.connection.jedis.JedisConnectionFactory" 
         > 
        
         <property name= 
         "hostName" 
         value= 
         "${redis.host}" 
         /> 
        
         <property name= 
         "port" 
         value= 
         "${redis.port}" 
         /> 
        
         <property name= 
         "password" 
         value= 
         "${redis.password}" 
         /> 
        
         <property name= 
         "timeout" 
         value= 
         "${redis.timeout}" 
         /> 
        
         <property name= 
         "poolConfig" 
         ref= 
         "jedisPoolConfig" 
         /> 
        
         <property name= 
         "usePool" 
         value= 
         "true" 
         /> 
        
         </bean> 
        
         <bean id= 
         "redisTemplate" 
         class 
         = 
         "org.springframework.data.redis.core.StringRedisTemplate" 
         > 
        
         <property name= 
         "connectionFactory" 
         ref= 
         "jedisConnectionFactory" 
         /> 
        
         </bean>

切面日志配置(伪代码):

 
    ? 
   
         /** 
        
         * 系统日志，切面处理类 
        
         * 创建者 小柒2012 
        
         * 创建时间  2018年1月15日 
        
         */ 
        
         @Component 
        
         @Scope 
        
         @Aspect 
        
         public 
         class 
         SysLogAspect { 
        
         @Autowired 
        
         private 
         RedisTemplate<String, String> redisTemplate; 
        
         //注解是基于swagger的API，也可以自行定义 
        
         @Pointcut 
         ( 
         "@annotation(io.swagger.annotations.ApiOperation)" 
         ) 
        
         public 
         void 
         logPointCut() {  
        
         } 
        
         @Around 
         ( 
         "logPointCut()" 
         ) 
        
         public 
         Object around(ProceedingJoinPoint point)  
         throws 
         Throwable { 
        
         Object result = point.proceed(); 
        
         //把日志消息写入itstyle_log频道 
        
         redisTemplate.convertAndSend( 
         "itstyle_log" 
         , 
         "日志数据，自行处理" 
         ); 
        
         return 
         result; 
        
         } 
        
         }

消费者端。

Redis配置:

 
    ? 
   
         <!-- redis 配置 --> 
        
         <bean id= 
         "jedisPoolConfig" 
         class 
         = 
         "redis.clients.jedis.JedisPoolConfig" 
         /> 
        
         <bean id= 
         "jedisConnectionFactory" 
        
         class 
         = 
         "org.springframework.data.redis.connection.jedis.JedisConnectionFactory" 
         > 
        
         <property name= 
         "hostName" 
         value= 
         "${redis.host}" 
         /> 
        
         <property name= 
         "port" 
         value= 
         "${redis.port}" 
         /> 
        
         <property name= 
         "password" 
         value= 
         "${redis.password}" 
         /> 
        
         <property name= 
         "timeout" 
         value= 
         "${redis.timeout}" 
         /> 
        
         <property name= 
         "poolConfig" 
         ref= 
         "jedisPoolConfig" 
         /> 
        
         <property name= 
         "usePool" 
         value= 
         "true" 
         /> 
        
         </bean> 
        
         <bean id= 
         "redisTemplate" 
         class 
         = 
         "org.springframework.data.redis.core.RedisTemplate" 
        
         p:connection-factory-ref= 
         "jedisConnectionFactory" 
         >  
        
         <property name= 
         "keySerializer" 
         >  
        
         <bean  
         class 
         = 
         "org.springframework.data.redis.serializer.StringRedisSerializer" 
         />  
        
         </property>  
        
         <property name= 
         "hashKeySerializer" 
         >  
        
         <bean  
         class 
         = 
         "org.springframework.data.redis.serializer.StringRedisSerializer" 
         />  
        
         </property>  
        
         </bean> 
        
         <!-- 监听实现类 --> 
        
         <bean id= 
         "listener" 
         class 
         = 
         "com.itstyle.market.common.listener.MessageDelegateListenerImpl" 
         /> 
        
         <bean id= 
         "stringRedisSerializer" 
         class 
         = 
         "org.springframework.data.redis.serializer.StringRedisSerializer" 
         /> 
        
         <redis:listener-container connection-factory= 
         "jedisConnectionFactory" 
         > 
        
         <!-- topic代表监听的频道，是一个正规匹配 其实就是你要订阅的频道--> 
        
         <redis:listener ref= 
         "listener" 
         serializer= 
         "stringRedisSerializer" 
         method= 
         "handleLog" 
         topic= 
         "itstyle_log" 
         /> 
        
         </redis:listener-container>

监听接口:

 
    ? 
   
         public 
         interface 
         MessageDelegateListener { 
        
         public 
         void 
         handleLog(Serializable message); 
        
         }

监听实现:

 
    ? 
   
         public 
         class 
         MessageDelegateListenerImpl  
         implements 
         MessageDelegateListener { 
        
         @Override 
        
         public 
         void 
         handleLog(Serializable message) { 
        
         if 
         (message ==  
         null 
         ){ 
        
         System.out.println( 
         "null" 
         ); 
        
         } 
         else 
         { 
        
         //处理日志数据 
        
         } 
        
         } 
        
         }

Q&A 。

【问题一】为什么使用Redis?

上面其实已经有做说明，尽管市面上有许多很稳定的产品，比如可能大家会想到的Kafka、RabbitMQ以及RocketMQ。但是由于项目本身使用了Redis做分布式缓存，基于省事可行的原则就选定了Redis.

【问题二】日志数据如何存储?

原则上是不建议存储到关系数据库的，比如MySql，毕竟产生的日志数量是巨大的，建议存储到Elasticsearch等非关系型数据库.

【问题三】切面日志收集是如何实现的?

切面日志需要引入spring-aspects相关Jar包，并且配置使Spring采用CGLIB代理 .

开源项目源码(参考)：https://gitee.com/52itstyle/spring-boot-mail 。

总结。

以上所述是小编给大家介绍的JavaWeb项目架构之Redis分布式日志队列，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对我网站的支持！。

原文链接：https://yq.aliyun.com/articles/368401 。

最后此篇关于浅析JavaWeb项目架构之Redis分布式日志队列的文章就讲到这里了,如果你想了解更多关于浅析JavaWeb项目架构之Redis分布式日志队列的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： RateLimit-使用guava来做接口限流代码示例

文章推荐： Java编程guava RateLimiter实例解析

文章推荐： SpringMVC返回图片的几种方式(小结)

文章推荐： JavaSE图像验证码简单识别程序详解

redis - Redis 服务器崩溃时如何接收 Redis 发布消息
我有一个关于 Redis Pubsub 的练习，如下所示: 如果发布者发布消息但订阅者没有收到服务器崩溃。订阅者如何在重启服务器时收到该消息？请帮帮我，谢谢! 最佳答案在这种情况下，消息将永远消失
redis - Redis 服务器重启后服务堆栈 Redis 重新连接
我们正在使用 Service Stack 的 RedisClient 的 BlockingDequeue 来保存一些数据，直到它可以被处理。调用代码看起来像 using (var client =
redis - 如何让一个 Redis 客户端等待所有其他 Redis 客户端响应？
我有一个 Redis 服务器和多个 Redis 客户端。每个 Redis 客户端都是一个 WebSocket+HTTP 服务器，其中包括管理 WebSocket 连接。这些 WebSocket+HTT
redis - 将数据从 Redis 独立实例移动到 Redis 集群
我有多个 Redis 实例。我使用不同的端口创建了一个集群。现在我想将数据从预先存在的 redis 实例传输到集群。我知道如何将数据从一个实例传输到集群，但是当实例多于一个时，我无法做到这一点。最佳
redis - 使用 Redis 集群自动故障转移到提升的 Redis Slave
配置:三个redis集群分区，跨三组一主一从。当 Master 宕机时，Lettuce 会立即检测到中断并开始重试。但是，Lettuce 没有检测到关联的 slave 已经将自己提升为 master
redis - 如何删除存储在给定 Redis 集中的 Redis 键？
我想根据从指定集合中检索这些键来删除 Redis 键(及其数据集)，例如: HMSET id:1 password 123 category milk HMSET id:2 password 456
redis - 有没有办法从 redis 获取所有禁用的 redis 命令的列表？
我正在编写一个机器人(其中包含要禁用的命令列表)，用于监视 Redis。它通过执行禁用命令，例如 (rename-command ZADD "")当我重新启动我的机器人时，如果要禁用的命令列表发生变化
redis - Redis(redis-py)可以处理多少个 channel ？
我的任务是为大量听众使用发布/订阅。这是来自 docs 的订阅的简化示例: r = redis.StrictRedis(...) p = r.pubsub() p.subscribe('my-firs
redis - 1 Redis 哨兵与多个 Redis 哨兵？
我一直在阅读有关使用 Redis 哨兵进行故障转移的内容。我打算有1个master+1个slave，如果master宕机超过1分钟，就把slave变成master。我知道这在 Sentinel 中是
redis - 分片常规 Redis 与 Redis 集群
与仅使用常规 Redis 和创建分片相比，使用 Redis 集群有哪些优势？在我看来，Redis Cluster 更注重数据安全(让主从架构解决故障)。最佳答案我认为当您需要在不丢失任何数据的情
redis - 即使 Redis key 已过期(但仍存在于 Redis 中)，是否可以获得 Redis key ？
由于 Redis 以被动和主动方式使 key 过期，有没有办法得到一个 key ，即使它的过期时间已过 (但在 Redis 中仍然存在 )？最佳答案 DEBUG OBJECT myKey 将返回
redis - 如何在 redis lua 脚本中运行 redis monitor 命令而不是 redis-cli monitor
我想用redis lua来实现monitor命令，而不是redis-cli monitor。但我不知道怎么办。 redis.call('monitor') 不起作用。最佳答案您不能从 Redis
redis - :Redis Replicated setup, Redis Cluster setup Redis Sentinel setup 和 Redis with Master with Slave only 有什么区别？[REDISSON]
我读过 https://github.com/redisson/redisson 我发现有几个 Redis 复制设置(包括对 AWS ElastiCache 和 Azure Redis 缓存的支持)
redis - Microsoft.AspNet.SignalR.Redis 需要 StackExchange.Redis.StrongName，但是 StackExchange.Redis.Extensions.Core 需要 StackExchange.Redis
Microsoft.AspNet.SignalR.Redis 和 StackExchange.Redis.Extensions.Core 在同一个项目中使用。前者需要StackExchange.Red
【Redis】Redis 安装启动使用流程
1. 认识 Redis Redis（Remote Dictionary Server）远程词典服务器，是一个基于内存的键值对型 NoSQL 数据库。特征：键值（key-value）型，value
【Redis】Redis 数据结构介绍
1. Redis 数据结构介绍 Redis 是一个 key-value 的数据库，key 一般是 String 类型，但 value 类型多种多样，下面就举了几个例子： value 类型示例 Str
【Redis】Redis 的缓存使用技巧（商户查询缓存）
1. 什么是缓存缓存（Cache）就是数据交换的缓冲区，是存贮数据的临时地方，一般读写性能较高。缓存的作用：降低后端负载提高读写效率，降低响应时间缓存的成本：数据一致性成本代码维护成本
redis - redis:使用joblib批量插入
我有一份记录 list 。对于我的每条记录，我都需要进行一些繁重的计算，因为我要在Redis中创建反向索引。为了达到到达记录，需要在管道中执行多个redis命令(sadd为100 s + set为1
redis - Redis Multi哨兵失败后不选举新的Redis主机
我有一个三节点Redis和3节点哨兵，一切正常，所有主服务器和从属服务器都经过验证，并且哨兵配置文件已与所有Redis和哨兵节点一起更新，但是问题是当Redis主服务器关闭并且哨兵希望选举失败者时再次
redis - Redis:如何计算已排序列表时间序列中的时间差？
我正在尝试计算Redis中存储的消息之间的响应时间。但是我不知道该怎么做。首先，我必须像这样存储chat_messages的时间流 ZADD conversation:CONVERSATION_ID

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

浅析JavaWeb项目架构之Redis分布式日志队列