- 使用 Spring Initializr 创建 Spring Boot 应用程序
- 在Spring Boot中配置Cassandra
- 在 Spring Boot 上配置 Tomcat 连接池
- 将Camel消息路由到嵌入WildFly的Artemis上
本文基于shardingsphere-jdbc-core-spring-boot-starter 5.0.0,请注意不同版本的sharding-jdbc配置可能有不一样的地方,本文不一定适用于其它版本
相关的maven配置如下:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-jpa</artifactId>
</dependency>
<dependency>
<groupId>org.apache.shardingsphere</groupId>
<artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
<version>5.0.0</version>
</dependency>
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
</dependency>
以下为单库分表的配置,根据对象的trade_no字段hash后mod进行分片,把数据分散到12个表中
spring:
shardingsphere:
datasource: ##数据源配置
ds0:
driver-class-name: com.mysql.jc.jdbc.Driver
jdbc-url: jdbc:mysql://...
password: ...
type: com.zaxxer.hikari.HikariDataSource
username: root
names: ds0
mode:
type: Memory
props:
sql-show: false ##为true时会打印sharding-jdbc生成的逻辑sql跟实际执行语句
rules: ##分片规则配置
sharding:
binding-tables:
- trade_info
sharding-algorithms:
trade-info-inline: #分片算法配置
props:
sharding-count: '12'
type: HASH_MOD
tables:
trade_info:
actual-data-nodes: ds0.trade_info_$->{0..11}
table-strategy:
standard:
sharding-algorithm-name: trade-info-inline ##使用的分片算法名
sharding-column: trade_no ##分片键
jpa提供了TABLE(使用一个特定的数据库表格来保存主键,在使用时从该表取数据做为主键)、SEQUENCE(由底层数据库的序列来生成主键,需要数据库支持序列)、IDENTITY(由数据库自动生成主键,主要在自增ID列使用 )三种生成主键值的策略。但对于分库分表来讲都不太适用,所以自定义了一个使用雪花算法来生成主键值
public class SnowFlakeIdGenerator implements IdentifierGenerator {
@Override
public Serializable generate(SharedSessionContractImplementor sharedSessionContractImplementor, Object o) throws HibernateException {
return SnowFlakeUtil.nextId();
}
@Override
public boolean supportsJdbcBatchInserts() {
return true;
}
}
实体类id的配置
@Id
@GenericGenerator(name = "snowflake",strategy = "com.****.****.****.SnowFlakeIdGenerator")
@GeneratedValue(generator = "snowflake")
private Long id;
配置完后,试了下新增、删除、查询都没有问题,但更新记录的时候出错了,报错信息为ShardingSphereException: Can not update sharding key, logic table: [**], column: [**]。从报错信息看来是因为我更新了原有记录的分片键,奇怪的是我并没有更新分片键,调用栈中最开始出错的代码如下:
public void preValidate(ShardingRule shardingRule, SQLStatementContext<UpdateStatement> sqlStatementContext, List<Object> parameters, ShardingSphereSchema schema) {
this.validateMultipleTable(shardingRule, sqlStatementContext);
UpdateStatement sqlStatement = (UpdateStatement)sqlStatementContext.getSqlStatement();
String tableName = (String)sqlStatementContext.getTablesContext().getTableNames().iterator().next();
Iterator var7 = sqlStatement.getSetAssignment().getAssignments().iterator();
String shardingColumn;
Optional shardingColumnSetAssignmentValue;
Optional shardingValue;
do {
AssignmentSegment each;
do {
if (!var7.hasNext()) {
return;
}
each = (AssignmentSegment)var7.next();
shardingColumn = ((ColumnSegment)each.getColumns().get(0)).getIdentifier().getValue();
} while(!shardingRule.isShardingColumn(shardingColumn, tableName));
shardingColumnSetAssignmentValue = this.getShardingColumnSetAssignmentValue(each, parameters);
shardingValue = Optional.empty();
Optional<WhereSegment> whereSegmentOptional = sqlStatement.getWhere();
if (whereSegmentOptional.isPresent()) {
shardingValue = this.getShardingValue((WhereSegment)whereSegmentOptional.get(), parameters, shardingColumn);
}
} while(shardingColumnSetAssignmentValue.isPresent() && shardingValue.isPresent() && shardingColumnSetAssignmentValue.get().equals(shardingValue.get()));
throw new ShardingSphereException("Can not update sharding key, logic table: [%s], column: [%s].", new Object[]{tableName, shardingColumn});
}
这方法在做的事情就是,如果update语句的set里面存在分片键,将会从where中获取的分片键的值,然后将where语句中获取到分片键值跟set语句中的分片键值比较是否发生改变,发生改变就会抛出ShardingSphereException。比如我的trade_info表分片键为trade_no,执行的更新语句为update trade_info t set t.trade_no = 123,t.a = 1 where t.trade_no = 123,这段代码就会去比较set中trade_no与where中trade_no的值是否一样,不一样或者where中没有分片键而set中包含分片键就会抛异常。
打印了一下执行的update语句,我提交的更新语句为update t set t.b = ? where t.a = ?,被sharding-jdbc拦下来检查时语句变成了update t set t.a = ? ,t.b = ?,t.c = ? where t.id = ? ,语句发生了两个变化:我原本语句只是更新了对象的部分属性,执行语句变成了全量更新;where子句被改变了,原本更新的条件是t.a=?,提交执行时变成了t.id=?。原因是JPA对语句做了优化,修改了我写的语句,实体类中加上注解@DynamicUpdate,更新时只更新发生改变的字段,解决了问题。
更多的功能配置可以参考官方文档:https://shardingsphere.apache.org/document/5.0.0/cn/user-manual/shardingsphere-jdbc/
我一直在使用 Databricks JDBC 驱动程序版本 2.6.22,并尝试升级到 2.6.27。但是,升级后我收到消息说我的 JDBC URL 在尝试连接时无效。这些 JDBC URL 与旧版本
似乎JDBC Spec没有详细说明数据源连接池中alive or idle connections的准确含义。它只是具体实现吗? DBCP2如何或 HikariCP实际检查连接状态? 下面没有事件事务
在“XPages 扩展库”一书中,第 12 章,第 409 页有一个 JDBC 连接文件的例子: org.apache.derby.jdbc.EmbeddedDriver jdbc:
谁能告诉我 jdbc 是如何工作的?它如何设法与 DBMS 通信?因为 DBMS 可能是用其他编程语言编写的。 最佳答案 与数据库的通信由 JDBC 驱动程序处理,这些驱动程序可以使用各种策略与数据库
我想知道是否有人可以帮助我解决这个问题。我在尝试使用 Spring JDBC 编写代码时遇到了一个问题。当我运行服务器时,我收到了标题中提到的消息。我google了一下,有人说你应该导入ojdbc.j
我只是想运行一个示例 hivejdbc 客户端程序,但它给我一个内存不足的错误。 import java.sql.SQLException; import java.sql.Connection; i
我需要将 Google Spreadsheet 与 JasperReports Server 一起使用,为此我需要一个用于 Google Spreadsheet 的 JDBC 连接器。 我找到了这个
我需要将大量行(最多 100,000 行)插入到 6 个不同的 DB2 表中。我正在使用 Java JDBC 来完成它。我想在单个数据库事务中完成所有操作,以便在遇到任何问题时可以回滚整个操作。在某处
再次为自己是 Jmeter 新手道歉——我对 JDBC 请求有点困惑——我在过去的 3 个小时里浏览了这个网站上的帖子——但我找不到任何相关的东西(除非我我错过了一些东西)。 我的环境:Jmeter
我们正在创建一个带有 MySQL 后端的 XPages 应用程序。应用程序将被多个客户使用。每个都有自己的 NSF 数据库和相应的 MySQL 数据库。每个客户都有自己的 MySQL 用户名。我们正在
昨天我遇到了一个大问题。在我当前的项目中,我使用 Oracle 的 JDBC 的 ojdbc6 实现进行连接,但我还需要处理例如 oracle 8 数据库,这对于这个 JAR 是完全不可能的。 你会说
这个问题在这里已经有了答案: Closing JDBC Connections in Pool (3 个答案) 关闭 2 年前。 假设我有以下代码 DataSource source = (Data
我有 Informix 数据库,时间戳字段定义为 YEAR TO SECOND。 当我使用 JDBC rs.getString(column) 显示此字段时,它使用带毫秒的格式,因此此字段如下所示:
看完本教程之后; https://www.youtube.com/watch?v=ZnI_rlrei1s 我正在尝试使用logstash和jdbc获取我的本地主机mysql(使用laravel val
有人给我小费。 { "type": "jdbc", "jdbc": { "driver": "com.microsoft.sqlserver.jdbc.SQLServerDriver"
已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足Stack Overflow guidelines 。目前不接受答案。 我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题,以便
我正在尝试从mysql表中将1600万个文档(47gb)索引为elasticsearch索引。我正在使用jparante's elasticsearch jdbc river执行此操作。但是,在创建河
我正在尝试使用JDBC河将我的MySQL数据库复制到我的ElasticSearch索引中。 但是,每当我启动服务器时,与MySQL表的count(*)相比,创建的文档数量就增加了一倍。我通过清空索引并
使用新的logstash jdbc 连接器: https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html后续的
已结束。此问题正在寻求书籍、工具、软件库等的推荐。它不满足Stack Overflow guidelines 。目前不接受答案。 我们不允许提出寻求书籍、工具、软件库等推荐的问题。您可以编辑问题,以便
我是一名优秀的程序员,十分优秀!