- 921. Minimum Add to Make Parentheses Valid 使括号有效的最少添加
- 915. Partition Array into Disjoint Intervals 分割数组
- 932. Beautiful Array 漂亮数组
- 940. Distinct Subsequences II 不同的子序列 II
框架搭建:SpringBoot + HikariCP/Druid + Mybatis + Mysql+sharding-jdbc
1、POM依赖:
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>4.1.1</version>
</dependency>
2、配置允许数据源覆盖
properties
文件加入以下配置
# 允许数据源覆盖
spring.main.allow-bean-definition-overriding=true
3、数据源配置
数据源类型通常选择DruidDataSource
或者HikariDataSource
两者在配置上有所不同。
<!-- 不能使用druid-spring-boot-starter,会导致:Property 'sqlSessionFactory' or 'sqlSessionTemplate' are required -->
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>druid</artifactId>
<version>version</version>
</dependency>
com.alibaba.druid.pool.DruidDataSource
DruidDataSource需要引入druid的Jar包,使用:url
spring.shardingsphere.datasource.m1.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.m1.url=
com.zaxxer.hikari.HikariDataSource
HikariDataSource要使用:jdbc-url
spring.shardingsphere.datasource.m1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.m1.jdbc-url=
将用户(user)表,进行水平分表,分为:user_1,user_2 .... user_6
//创建数据表
CREATE TABLE user_1/user_2/..../user_6 (
id BIGINT(20) NOT NULL COMMENT 'Id',
name VARCHAR(20) NOT NULL COMMENT '名称',
phone VARCHAR(20) NOT NULL COMMENT '电话',
email VARCHAR(20) NOT NULL COMMENT '邮箱',
PRIMARY KEY (id)
)
server.port=9090
server.servlet.context-path=/demo
spring.application.name=sharding-jdbc-simple-demo
# 允许数据源覆盖
spring.main.allow-bean-definition-overriding=true
# MyBatis配置
# 搜索指定包别名
mybatis.typeAliasesPackage=com.lhz.sharding.model.entity
# 配置mapper的扫描,找到所有的mapper.xml映射文件
mybatis.mapperLocations=classpath*:mybatis/**/*.xml
#数据库类型
mybatis.configuration.database-id=mysql
#自动驼峰转换
mybatis.configuration.map-underscore-to-camel-case=true
#pagehelper 分页插件
pagehelper.helper-dialect=mysql
pagehelper.reasonable=false
pagehelper.support-methods-arguments=true
pagehelper.params=count=countSql
#sharding-jdbc 水平分表规则配置,使用Standard模式
# 数据源名称,多数据源逗号隔开
spring.shardingsphere.datasource.names=m1
spring.shardingsphere.datasource.m1.type=com.zaxxer.hikari.HikariDataSource
spring.shardingsphere.datasource.m1.driver-class-name=com.mysql.cj.jdbc.Driver
spring.shardingsphere.datasource.m1.jdbc-url=jdbc:mysql://127.0.0.1:3307/shardingjdbc?useUnicode=true&useSSL=false&zeroDateTimeBehavior=convertToNull&characterEncoding=UTF-8&allowMultiQueries=true&serverTimezone=Asia/Shanghai
spring.shardingsphere.datasource.m1.username=root
spring.shardingsphere.datasource.m1.password=lhzlx
# 水平分表:user_1/2/3..,多个表进行分表时,依次在tables标签后写逻辑
# user_1/2/3... 为数据库中的事实表
# user为xml编码中操作的逻辑表,sharding-jdbc会自动根据策略操作事实表
# 配置节点分布情况,表示有user_1到user_6共6张表
spring.shardingsphere.sharding.tables.user.actual-data-nodes=m1.user_$->{1..6}
# 指定user表的主键生成策略为SNOWFLAKE
spring.shardingsphere.sharding.tables.user.key-generator.column=id
spring.shardingsphere.sharding.tables.user.key-generator.type=SNOWFLAKE
# 指定user表的分片策略,分片策略包括分片键和分片算法
# 配置表的分片策略
spring.shardingsphere.sharding.tables.user.table-strategy.standard.sharding-column=id
# 精确分片算法类名称,用于 = 和 IN。该类需实现 PreciseShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.user.table-strategy.standard.precise-algorithm-class-name=\
com.lhz.sharding.algorithm.MyPreciseShardingAlgorithm
# 范围分片算法类名称,用于 范围查询 可选。该类需实现 RangeShardingAlgorithm 接口并提供无参数的构造器
spring.shardingsphere.sharding.tables.user.table-strategy.standard.range-algorithm-class-name=\
com.lhz.sharding.algorithm.MyRangeShardingAlgorithm
# 打开sql输出日志
spring.shardingsphere.props.sql.show=true
MyPreciseShardingAlgorithm:
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.PreciseShardingValue;
import java.util.Collection;
/**
* @Description: 精确匹配查询,需要实现PreciseShardingAlgorithm,可以实现对 =以及in的查询
**/
public class MyPreciseShardingAlgorithm implements PreciseShardingAlgorithm<Long> {
/**
* 精确匹配查询
*
* @param tbNames 数据库中所有的事实表
* @param shardingValue 分片相关信息
* @return 返回匹配的数据源
*/
@Override
public String doSharding(Collection<String> tbNames, PreciseShardingValue<Long> shardingValue) {
for (String tableName : tbNames) {
/*
* shardingValue.getValue() 为分片建的值,比如 id=2时,value就是 2
* 比如:表分为user_1到user_6,id=1操作user_1表,id=6操作user_6表
*
* + 6的目的是为了保证,id=6操作user_6表,运维6%6=0,需要再进行+6
*/
long index = shardingValue.getValue() % tbNames.size();
String value = String.valueOf(index == 0 ? index + 6 : index);
// 匹配满足当前分片规则的表名称
if (tableName.endsWith(value)) {
return tableName;
}
}
throw new RuntimeException("数据库不存在");
}
}
MyRangeShardingAlgorithm:
package com.lhz.sharding.algorithm;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingAlgorithm;
import org.apache.shardingsphere.api.sharding.standard.RangeShardingValue;
import java.util.*;
/**
* @Description: 范围查询
**/
public class MyRangeShardingAlgorithm implements RangeShardingAlgorithm<Long> {
@Override
public Collection<String> doSharding(Collection<String> tbNames, RangeShardingValue<Long> rangeShardingValue) {
// 获取逻辑表名称
String logicTableName = rangeShardingValue.getLogicTableName();
// between and 的起始值,需要处理只有最大值或者只有最小值的情况
boolean hasLowerBound = rangeShardingValue.getValueRange().hasLowerBound();
boolean hasUpperBound = rangeShardingValue.getValueRange().hasUpperBound();
// 只有最小值,比如:id > x
if (hasLowerBound && !hasUpperBound) {
// 直接返回所有表名称
return tbNames;
}
// 只有最大值,比如:id < x
if (!hasLowerBound && hasUpperBound) {
long upper = rangeShardingValue.getValueRange().upperEndpoint();
if (upper < tbNames.size()) {
// 如果最大值小于表的总数,则返回需要的表名
return matchMinAndMax(1, upper, logicTableName, tbNames);
} else {
// 如果最大值大于表的总数,则返回所有
return tbNames;
}
}
long lower = rangeShardingValue.getValueRange().lowerEndpoint();
long upper = rangeShardingValue.getValueRange().upperEndpoint();
// 拼接事实表名称
return matchMinAndMax(lower, upper, logicTableName, tbNames);
}
private List<String> matchMinAndMax(long lower, long upper, String logicTableName, Collection<String> tbNames) {
List<String> tableNameList = new ArrayList<>();
for (long index = lower; index <= upper; index++) {
long tableNum = index % tbNames.size();
// 事实表后缀
String suffix = String.valueOf(tableNum == 0 ? tableNum + 6 : tableNum);
String tableName = logicTableName + "_" + suffix;
if (tbNames.contains(tableName)) {
// 添加满足要求的表名称
tableNameList.add(tableName);
}
// 如果满足要求的表已经覆盖了所有表,此处处理是为了方式查询区间过大,而分表不多,导致的过度遍历
if (tableNameList.size() == tbNames.size()) {
return tableNameList;
}
}
return tableNameList;
}
}
User :
@Data
public class User implements Serializable {
private Long id;
private String name;
private String phone;
private String email;
}
StandardMapper :
@Mapper
public interface StandardMapper {
/**
* 根据ID查询
*
* @param id
* @return
*/
User selectById(@Param("id") Long id);
/**
* 根据ID删除
*
* @param id
* @return
*/
int deleteById(@Param("id") Long id);
/**
* 根据ID更新
*
* @param id
* @return
*/
int updateById(@Param("id") Long id);
/**
* 新增数据
*
* @param min
* @param max
* @return
*/
List<User> listByRange(@Param("min") Long min, @Param("max") Long max);
int insert(User user);
int insertBatch(List<User> list);
}
StandardMapper.xml :
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.lhz.sharding.mapper.StandardMapper">
<select id="selectById" parameterType="java.lang.Long"
resultType="com.lhz.sharding.model.entity.User">
select a.*
from user a
where a.id ={id}
OR a.id IN (#{id})
</select>
<select id="listByRange"
resultType="com.lhz.sharding.model.entity.User">
select a.*
from user a
<!--where a.id >{min} -->
<!--where a.id <{max} -->
where a.id >={min} and a.id <={max}
<!-- where a.id between{min} and{max}-->
</select>
<update id="updateById" parameterType="java.lang.Long">
update
user
set name ='测试名称'
where id ={id}
</update>
<delete id="deleteById" parameterType="java.lang.Long">
delete
from user
where id ={id}
</delete>
<insert id="insert" parameterType="com.lhz.sharding.model.entity.User">
insert into user(id, name, phone, email)
values (#{id},{name},{phone},{email})
</insert>
<insert id="insertBatch" parameterType="com.lhz.sharding.model.entity.User">
insert into user(id, name, phone, email)
values
<foreach collection="list" item="item" separator=",">
(#{item.id},{item.name},{item.phone},{item.email})
</foreach>
</insert>
</mapper>
StandardService :
@Service
public class StandardService {
@Resource
private StandardMapper standardMapper;
/**
* 根据ID查询
*
* @param id
* @return
*/
public User selectById(Long id) {
return standardMapper.selectById(id);
}
/**
* 范围查询
*
* @param min
* @param max
* @return
*/
public List<User> listByRange(Long min, Long max) {
return standardMapper.listByRange(min, max);
}
/**
* 根据ID删除
*
* @param id
* @return
*/
@ApiOperation(value = "根据ID删除", notes = "根据ID删除")
@ApiOperationSupport(order = 15)
@GetMapping("/deleteById")
public int deleteById(Long id) {
return standardMapper.deleteById(id);
}
/**
* 根据ID更新
*
* @param id
* @return
*/
@ApiOperation(value = "根据ID更新", notes = "根据ID更新")
@ApiOperationSupport(order = 20)
@GetMapping("/updateById")
public int updateById(Long id) {
return standardMapper.updateById(id);
}
/**
* 新增数据
*
* @return
*/
@ApiOperation(value = "新增数据", notes = "新增数据")
@ApiOperationSupport(order = 25)
@GetMapping("/insert")
public int insert() {
// 模拟数据
List<User> list = new ArrayList<>();
for (long a = 111; a <= 120; a++) {
User user = new User();
user.setId(a);
user.setName("测试名称-" + a);
user.setPhone("176-" + a);
user.setEmail("123@com-" + a);
list.add(user);
}
// 批量新增
standardMapper.insertBatch(list);
// 单个新增
User user = new User();
user.setId(999L);
user.setName("测试名称-" + 999);
user.setPhone("176-" + 999);
user.setEmail("123@com-" + 999);
return standardMapper.insert(user);
}
}
StandardController:
@RestController
@RequestMapping("standard")
public class StandardController {
@Resource
private StandardService shandardService;
/**
* 根据ID查询
*
* @param id
* @return
*/
@GetMapping("/selectById")
public User selectById(Long id) {
return shandardService.selectById(id);
}
/**
* 范围查询
*
* @param min
* @param max
* @return
*/
@GetMapping("/listByRange")
public List<User> listByRange(Long min, Long max) {
return shandardService.listByRange(min, max);
}
/**
* 根据ID删除
*
* @param id
* @return
*/
@GetMapping("/deleteById")
public int deleteById(Long id) {
return shandardService.deleteById(id);
}
/**
* 根据ID更新
*
* @param id
* @return
*/
@GetMapping("/updateById")
public int updateById(Long id) {
return shandardService.updateById(id);
}
/**
* 新增数据
*
* @return
*/
@GetMapping("/insert")
public int insert() {
return shandardService.insert();
}
}
1、删除、更新、精确查询:
2、范围查询:
2.1、只有最大值情况:
当sql中的查询只有最大值,即<=
时,比如:
select * from user where id <{max}
这种情况则hasUpperBound=true
、hasLowerBound=false
,并且需要处理最大值小于表数量以及最大值大于表数量的情况;
2.2、只有最小值情况:
当sql中的查询只有最大值,即<=
时,比如:
select * from user where id >{min}
这种情况则hasUpperBound=false
、hasLowerBound=true
,那么直接返回所有表即可;
2.3、最大与最小值都存在情况:
当sql中的查询既有最大值又有最小值,比如:
select * from user where a.id >={min} and a.id <={max}
或者
select * from user where a.id between{min} and{max}
这种情况需要遍历最小值到最大值的区间,并且匹配满足要求的表名称,需要注意的是,如果遍历过程中满足要求的表已经覆盖了所有表,那么就直接返回所有表,不再继续遍历,这是为了方式查询区间过大,而分表不多,导致的过度遍历。
执行结果:
3、新增数据:
我是ElasticSearch的新手,并且一直在使用它的功能。 我在单个计算机上运行单个节点(master = true,data = true)。我创建一个索引,其中包含3个分片和每个分片1个副本。
我们在14个节点的集群中具有嵌入式Elasticsearch的Java应用程序。所有数据都驻留在中央数据库中,并在elasticsearch中对其进行索引以进行查询。完整的索引编制可以随时进行。 系统
我是 MongoDB 的新手,我想了解这两种技术如何协同工作: 当为你的数据库使用复制时,你有一个主节点和一堆辅助节点。为了保证一致性,建议大家始终从主节点读取,对吧? 因此,当您将复制与分片结合使用
有人告诉我,在一台更强大的机器上使用 100 个分片实现 mongodb 分片以实现更高的并发写入数据库是否有意义,每个 monogod.exe 进程都有一个全局锁?假设这是可能的,这种方法会给我更高
我有一个带有 4x 分片的生产 mongodb 部署 (3.6),它运行良好。我想向集群中添加 4 倍以上的分片。一次添加多个分片是否可以,或者这会引起戏剧性事件吗?我发现添加分片是一项昂贵的操作,在
假设在您的 Web 应用程序中,您需要调用多个 Redis 来呈现页面,例如获取一堆用户哈希。为了加快速度,您可以将 redis 命令包装在 MULTI/EXEC 部分,从而使用流水线,从而避免进行多
我正在查看ES文档,并看到以下内容 Each shard is in itself a fully-functional and independent "index" that can be hos
我有一个 Multi-Tenancy 系统,并且我正在尝试设计ElasticSearch以支持 Multi-Tenancy 。我已经在网上搜索过,但是我发现的所有帖子在实践中均未指定具体操作方法。 基
我已经在 kuberenetes 中使用散列分片设置了分片 MongoDB 集群。我首先创建了配置服务器 Replicaset,然后创建了 2 个分片副本集。最后创建了mongos来连接分片集群。 我
我在调试父子关系查询时遇到问题。我想知道调试问题的方法,而不是简单地发布我的映射、数据、查询并询问问题所在(但我最终保留这样做的权利!)。 为此,首先要检查我的 child 和关联的 parent 是
我正在启动一个 Django 项目,需要对多个可能包含太多行的表进行分片。我浏览了这里和其他地方的线程,并遵循了 Django 多数据库文档,但我仍然不确定它们是如何缝合在一起的。我的模型具有会被分片
我正在尝试使用 docker 创建 mongo 分片.我有: 配置服务器: docker run -it --rm --net=xnet -p 27016:27016 \ --hostname
我正在尝试在一台机器上配置分片,但在尝试添加分片时我不断收到错误消息。我使用以下网站作为引用:http://www.javahotchocolate.com/notes/mongodb-shardin
我刚接触 mongodb。由于我必须存储 +-5000 万份文档,我不得不设置一个带有两个副本集的 mongodb 分片集群 文档看起来像这样: { "_id" : "predefined_u
目前我们运行一个包含 2 个服务器 + 1 个仲裁器的 MongoDB 复制集。 我们在副本集的数据库中存储了大约 150 GB 的数据。 现在我们正在考虑何时开始分片。因为我们想知道是否存在不能再开
我需要并行处理某些项目,所以我使用 TPL Dataflow。 .要注意的是,共享相同键(类似于字典)的项目应按 FIFO 顺序处理,而不是彼此平行(它们可以与具有不同值的其他项目平行)。 正在完成的
问题涉及redis的分片配置。我已经用 Java 实现了一个小型测试应用程序,它以 user:userID 的形式在 Jedis 上创建了 100.000 个用户哈希。每个散列都有元素:姓名、电话、部
您好,我将使用多个 Redis 实例和实例之间的一些分片。 我的问题是,如果加载网页需要访问多个分片,性能是否会受到[明显的影响]。 我的基本概述是在多个 Redis 分片之间实现负载平衡*下面的脚注
Predis 声称拥有客户端分片(支持键的一致性散列)。 http://github.com/nrk/predis 我可以使用连接到一组配置文件(节点)来进行分片,但它不是一致的哈希。当我将另一个节点
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the he
我是一名优秀的程序员,十分优秀!