- Java锁的逻辑(结合对象头和ObjectMonitor)
- 还在用饼状图?来瞧瞧这些炫酷的百分比可视化新图形(附代码实现)⛵
- 自动注册实体类到EntityFrameworkCore上下文,并适配ABP及ABPVNext
- 基于Sklearn机器学习代码实战
jvisualvm
分析cpu,线程,垃圾回收情况等;运用火焰图 async-profiler
分析系统性能,找出程序中占用CPU资源时间最长的代码块。 聊到序列化与反序列化,先看看这个这个是什么或者是干嘛的 。
定义:序列化是指把 对象 转换为 字节序列 的过程; 反序列化 是指把 字节序列 恢复为 对象 的过程; 。
一般都会知道有两个目的: 对象持久化 和 网络传输 .
总结:序列化的目的是将对象变成字节序列,这样一来方便 持久化存储到磁盘 ,避免程序运行结束后对象就从内存里消失,另外字节序列也更便于 网络运输和传播 。
这里并不是说哪个是最好,只能说是各有千秋,所以面对不同的背景采用不同的技术方案.
在同等情况下, 编码后的字节数组越大,存储占空间,存储硬件成本高,网络传输时也占带宽,导致系统的吞吐量降低.
这个要结合当时的项目背景了。当时的项目痛点是:
所以,存在MessagePack也有不好的地方,如果是针对业务变化比较多,那就不适合,需要比较不同的版本,然后选择不同版本去解析.
我在京东內部文章有看到,引用的MessagePack反序列化出现了一些线上的问题,原因是: 新增了一些字段导致反序列化失败 .
这里对比了 JDK(不支持跨语言),JSON,Protobuf,MessagePack 几种序列化的方式.
当然,还有其他的XML、Hessian、Kryo(不支持跨语言)、FST(不支持跨语言)Thrift等.
JDK序列化是Java默认自带的序列化方式。在Java中,一个对象要想实现序列化,实现 Serializable 接口或者 Externalizable 接口即可。其中 Externalizable 接口继承自 Serializable 接口.
public class Person implements Serializable {
private static final long serialVersionUID = 1L;
private String name = null;
private Integer age = null;
private SerializeDemo01.Sex sex;
//....
}
serialVersionUID 版本控制的作用 。
serialVersionUID
也会被写入二进制序列 serialVersionUID
是否和当前类的 serialVersionUID
一致。不一致则会抛出 InvalidClassException
异常(序列化之后给类增加字段再反序列化的时候就会报错) serialVersionUID必须保证实体类在序列化前后严格一致,否则将会导致无法反序列化.
JDK默认的序列化机制 。需要实现java.io.Serializable接口 。
JDK默认的序列化机制很差。所以我们通常不会选择Java默认序列化这种 。
json格式也是常见的一种,但是在json在解析的时候非常耗时,而且json结构非常占内存。JSON不适合存数字,特别是DOUBLE 。
这里基于Fastjson ,加载maven依赖 。
<dependency>
<groupId>com.alibaba</groupId>
<artifactId>fastjson</artifactId>
<version>1.2.70</version>
</dependency>
序列化对象 。
利用JSON.toJSONString方法序列化对象:
UserVO user = ...;String text = JSON.toJSONString(user);
序列化数组 。
利用JSON.toJSONString方法序列化数组:
UserVO[] users = ...;String text = JSON.toJSONString(users);
序列化集合 。
利用JSON.toJSONString方法序列化集合(继承至Collection,比如List、Set等集合):
List<UserVO> userList = ...;String text = JSON.toJSONString(userList);
序列化映射 。
利用JSON.toJSONString方法序列化映射:
Map<Long, UserVO> userMap = ...;String text = JSON.toJSONString(userMap, SerializerFeature.MapSortField);
其中,为了保证每次序列化的映射字符串一致,需要指定序列化参数MapSortField进行排序.
序列化模板对象 。
利用JSON.toJSONString方法序列化模板对象:
Result<UserVO> result = ...;String text = JSON.toJSONString(result);
package com.nateshao.source.code.serializable.json_Serializable.serializable;
import com.alibaba.fastjson.annotation.JSONField;
/**
* @date Created by 邵桐杰 on 2023/2/25 17:11
* @微信公众号 千羽的编程时光
* @博客 https://nateshao.gitlab.io
* @GitHub https://github.com/nateshao
* Description:
*/
public class User {
/**
* @JSONField 作用:自定义对象属性所对应的 JSON 键名
* @JSONField 的作用对象:
* 1. Field
* 2. Setter 和 Getter 方法
* 注意:
* 1. 若属性是私有的,必须要有 set 方法,否则反序列化会失败。
* 2. 若没有 @JSONField 注解,则直接使用属性名。
*/
@JSONField(name = "NAME")
private String name;
@JSONField(name = "AGE")
private int age;
public User(String name, int age) {
this.name = name;
this.age = age;
}
public String getName() {
return name;
}
public void setName(String name) {
this.name = name;
}
public int getAge() {
return age;
}
public void setAge(int age) {
this.age = age;
}
}
package com.nateshao.source.code.serializable.json_Serializable.serializable;
import com.alibaba.fastjson.JSON;
import org.junit.jupiter.api.BeforeAll;
import org.junit.jupiter.api.DisplayName;
import org.junit.jupiter.api.Test;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
/**
* @date Created by 邵桐杰 on 2023/2/25 17:12
* @微信公众号 千羽的编程时光
* @博客 https://nateshao.gitlab.io
* @GitHub https://github.com/nateshao
* Description:
*/
public class ObjectTest {
private static List<User> userList = new ArrayList<User>();
@BeforeAll
public static void setUp() {
userList.add(new User("千羽", 18));
userList.add(new User("千寻", 19));
}
@DisplayName("序列化对象")
@Test
public void testObjectToJson() {
String userJson = JSON.toJSONString(userList.get(0));
System.out.println(userJson); // {"AGE":18,"NAME":"千羽"}
}
@DisplayName("序列化集合")
@Test
public void testListToJson() {
String userListJson = JSON.toJSONString(userList);
System.out.println(userListJson); // [{"AGE":18,"NAME":"千羽"},{"AGE":19,"NAME":"千寻"}]
}
@DisplayName("序列化数组")
@Test
public void testArrayToJson() {
User[] userArray = new User[5];
userArray[0] = new User("zhangsan", 20);
userArray[1] = new User("lisi", 21);
String userArrayJson = JSON.toJSONString(userArray);
System.out.println(userArrayJson); // [{"AGE":20,"NAME":"zhangsan"},{"AGE":21,"NAME":"lisi"},null,null,null]
}
@DisplayName("序列化映射")
@Test
public void testMapToJson() {
Map<Integer, User> userMap = new HashMap<Integer, User>();
userMap.put(1, new User("xiaotie", 10));
userMap.put(2, new User("xiaoliu", 11));
String userMapJson = JSON.toJSONString(userMap);
System.out.println(userMapJson); // {1:{"AGE":10,"NAME":"xiaotie"},2:{"AGE":11,"NAME":"xiaoliu"}}
}
}
package com.nateshao.source.code.serializable.json_Serializable.un_serializable;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.TypeReference;
import org.junit.jupiter.api.DisplayName;
import org.junit.jupiter.api.Test;
import java.util.Arrays;
import java.util.List;
import java.util.Map;
import java.util.Set;
/**
* @date Created by 邵桐杰 on 2023/2/25 17:16
* @微信公众号 千羽的编程时光
* @博客 https://nateshao.gitlab.io
* @GitHub https://github.com/nateshao
* Description:
*/
public class UN_ObjectTest {
@DisplayName("反序列化对象")
@Test
public void testJsonToObject() {
String text = "{"age":18,"name":"千羽"}";
User user = JSON.parseObject(text, User.class);
System.out.println(user); // User{name='千羽', age=18}
}
@DisplayName("反序列化数组")
@Test
public void testJsonToArray() {
String text = "[{"age":18,"name":"千羽"}, {"age":19,"name":"千寻"}]";
User[] users = JSON.parseObject(text, User[].class);
System.out.println(Arrays.toString(users)); // [User{name='千羽', age=18}, User{name='千寻', age=19}]
}
@DisplayName("反序列化集合")
@Test
public void testJsonToCollection() {
String text = "[{"age":18,"name":"千羽"}, {"age":19,"name":"千寻"}]";
// List 集合
List<User> userList = JSON.parseArray(text, User.class);
System.out.println(Arrays.toString(userList.toArray())); // [User{name='千羽', age=18}, User{name='千寻', age=19}]
// Set 集合
Set<User> userSet = JSON.parseObject(text, new TypeReference<Set<User>>() {
});
System.out.println(Arrays.toString(userSet.toArray())); // [User{name='千寻', age=19}, User{name='千羽', age=18}]
}
@DisplayName("反序列化映射")
@Test
public void testJsonToMap() {
String text = "{1:{"age":18,"name":"千羽"}, 2:{"age":19,"name":"千寻"}}";
Map<Integer, User> userList = JSON.parseObject(text, new TypeReference<Map<Integer, User>>() {
});
for (Integer i : userList.keySet()) {
System.out.println(userList.get(i));
}
/*
User{name='千羽', age=18}
User{name='千寻', age=19}
*/
}
}
json序列化总结 。
好处 。
缺点 。
Protobuf是谷歌推出的,是一种语言无关、平台无关、可扩展的序列化结构数据的方法,它可用于通信协议、数据存储等。序列化后体积小,一般用于对传输性能有较高要求的系统。前期需要额外配置环境变量,学习他的语法也是需要时间.
但是要 使用Protobuf会相对来说麻烦一些,因为他有自己的语法,有自己的编译器,如果需要用到的话必须要去投入成本在这个技术的学习中 .
Protobuf有个缺点就是传输的每一个类的结构都要生成相对应的proto文件,如果某个类发生修改,还要重新生成该类对应的proto文件。另外,Protobuf对象冗余,字段很多,生成的类较大,占用空间。维护成本较高.
// 声明语法,不显示声明默认是2.0的语法。
syntax = "proto3";
// 指定模板类的包路径
option java_package = "com.test.basic.java.serialize.proto.dto";
// 指定模板类的名称,名称必须是有实际业务意义的
option java_outer_classname = "UserProto";
// 定义用户对象
message User {
// 名字
string name = 1;
// 年龄
int32 age = 2;
}
// 声明语法,不显示声明默认是2.0的语法。
syntax = "proto3";
// 指定模板类的包路径
option java_package = "com\nateshao\source\code\serializable\protobuf_Serializable\User.proto";
// 指定模板类的名称,名称必须是有实际业务意义的
option java_outer_classname = "UserProto";
// 定义用户对象
message User {
// 名字
string name = 1;
// 年龄
int32 age = 2;
}
不好的地方:
通过配置msgpack的maven依赖 。
<dependency>
<groupId>org.msgpack</groupId>
<artifactId>msgpack</artifactId>
<version>0.6.12</version>
</dependency>
封装MsgPackTemplate抽象类,对原有msgpack进行二次加工,比如int,Short,Byte,BigDecimal进行read和write处理 。
MsgPackTemplate.java 。
package com.nateshao.source.code.serializable.msgpack_Serializable;
import java.io.IOException;
import java.math.BigDecimal;
import java.util.Date;
import org.msgpack.packer.Packer;
import org.msgpack.template.CharacterTemplate;
import org.msgpack.template.Template;
import org.msgpack.unpacker.Unpacker;
/**
* @date Created by 邵桐杰 on 2023/2/25 23:11
* @微信公众号 千羽的编程时光
* @博客 https://nateshao.gitlab.io
* @GitHub https://github.com/nateshao
* Description:
*/
public abstract class MsgPackTemplate <T> implements Template<T> {
public void write(Packer pk, T v) throws IOException {
write(pk, v, false);
}
public T read(Unpacker u, T to) throws IOException {
return read(u, to, false);
}
public BigDecimal readBigDecimal(Unpacker u) throws IOException {
if (u.trySkipNil()) {
return null;
}
String temp = u.readString();
if (temp != null) {
return new BigDecimal(temp);
}
return null;
}
public Date readDate(Unpacker u) throws IOException {
if (u.trySkipNil()) {
return null;
}
long temp = u.readLong();
if (temp > 0) {
return new Date(temp);
}
return null;
}
public String readString(Unpacker u) throws IOException {
if (u.trySkipNil()) {
return null;
}
return u.readString();
}
public Integer readInteger(Unpacker u) throws IOException {
if (u.trySkipNil()) {
return null;
}
return u.readInt();
}
public Byte readByte(Unpacker u) throws IOException {
if (u.trySkipNil()) {
return null;
}
return u.readByte();
}
public Short readShort(Unpacker u) throws IOException {
if (u.trySkipNil()) {
return null;
}
return u.readShort();
}
public Float readFloat(Unpacker u) throws IOException {
if (u.trySkipNil()) {
return null;
}
return u.readFloat();
}
public Double readDouble(Unpacker u) throws IOException {
if (u.trySkipNil()) {
return null;
}
return u.readDouble();
}
public Character readCharacter(Unpacker u) throws IOException {
if (u.trySkipNil()) {
return null;
}
return u.read(CharacterTemplate.getInstance());
}
public Long readLong(Unpacker u) throws IOException {
if (u.trySkipNil()) {
return null;
}
return u.readLong();
}
public Boolean readBoolean(Unpacker u) throws IOException {
if (u.trySkipNil()) {
return null;
}
return u.readBoolean();
}
public void writeBigDecimal(Packer pk, BigDecimal v) throws IOException {
if (v == null) {
pk.writeNil();
} else {
pk.write(v.toString());
}
}
public void writeDate(Packer pk, Date v) throws IOException {
if (v == null) {
pk.writeNil();
} else {
pk.write(v.getTime());
}
}
public void writeString(Packer pk, String v) throws IOException {
if (v == null) {
pk.writeNil();
} else {
pk.write(v);
}
}
public void writeInt(Packer pk, int v) throws IOException {
pk.write(v);
}
public void writeInteger(Packer pk, Integer v) throws IOException {
if (v == null) {
pk.writeNil();
} else {
pk.write(v.intValue());
}
}
public void writeByte(Packer pk, Byte v) throws IOException {
if (v == null) {
pk.writeNil();
} else {
pk.write(v.byteValue());
}
}
public void writeShort(Packer pk, Short v) throws IOException {
if (v == null) {
pk.writeNil();
} else {
pk.write(v.shortValue());
}
}
public void writeFloat(Packer pk, Float v) throws IOException {
if (v == null) {
pk.writeNil();
} else {
pk.write(v.floatValue());
}
}
public void writeDouble(Packer pk, Double v) throws IOException {
if (v == null) {
pk.writeNil();
} else {
pk.write(v.doubleValue());
}
}
public void writeCharacter(Packer pk, Character v) throws IOException {
if (v == null) {
pk.writeNil();
} else {
pk.write(v.charValue());
}
}
public void writeLong(Packer pk, Long v) throws IOException {
if (v == null) {
pk.writeNil();
} else {
pk.write(v.longValue());
}
}
public void writeLong(Packer pk, long v) throws IOException {
pk.write(v);
}
public void writeBoolean(Packer pk, Boolean v) throws IOException {
if (v == null) {
pk.writeNil();
} else {
pk.write(v.booleanValue());
}
}
}
然后针对实体类进行读和写的序列化与反序列化操作.
User.java 。
package com.nateshao.source.code.serializable.msgpack_Serializable;
@Data
@ToString
@AllArgsConstructor
@NoArgsConstructor
public class User {
private static final long serialVersionUID = 4719921525393585541L;
protected String id;
private String userID;
private String type;
private BigDecimal rate;
private Date createTime;
private Date UpdateTime;
}
UserTemplate.java 。
package com.nateshao.source.code.serializable.msgpack_Serializable;
import org.msgpack.packer.Packer;
import org.msgpack.unpacker.Unpacker;
import java.io.IOException;
/**
* protected String id;
* private String userID;
* private String type;
* private BigDecimal rate;
* private Date createTime;
* private Date UpdateTime;
*/
public class UserTemplate extends MsgPackTemplate<User> {
public void write(Packer packer, User user, boolean b) throws IOException {
if (user == null) {
packer.write(user);
return;
}
// 字段保持一致
writeString(packer, user.id);
writeString(packer, user.getUserID());
writeString(packer, user.getType());
writeBigDecimal(packer, user.getRate());
writeDate(packer, user.getCreateTime());
writeDate(packer, user.getUpdateTime());
}
public User read(Unpacker unpacker, User user, boolean req) throws IOException {
if (!req && unpacker.trySkipNil()) {
return null;
}
if (unpacker == null) return new User();
user.setId(readString(unpacker));
user.setUserID(readString(unpacker));
user.setType(readString(unpacker));
user.setRate(readBigDecimal(unpacker));
user.setCreateTime(readDate(unpacker));
user.setUpdateTime(readDate(unpacker));
return user;
}
}
参考文献:
作者:京东零售 邵桐杰 。
来源:京东云开发者社区 。
最后此篇关于【序列化与反序列化】关于序列化与反序列化MessagePack的实践的文章就讲到这里了,如果你想了解更多关于【序列化与反序列化】关于序列化与反序列化MessagePack的实践的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
本文分享自华为云社区《大模型LLM之分布式训练》,作者: 码上开花_Lancer。 随着语言模型参数量和所需训练数据量的急速增长,单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训
本文分享自华为云社区《五大基础算法--动态规划法》,作者: 大金(内蒙的)。 一、基本概念 动态规划法,和分治法极其相似。区别就是,在求解子问题时,会保存该子问题的解,后面的子问题求解时,可以直接拿来
pip install scp pip install pexpect 测试代码: import os import stat import paramiko # 用于调用scp命令 def s
我目前正在实现“ token ”REST 服务。 token 只是一个字符串,由一些参数构建而成,然后经过哈希处理并在一定时间后过期。 我想在我的 REST 服务中有一个可以验证 token 的端点,
打开软删除后,我在客户端上添加一条记录,推送,删除添加的记录推送,然后尝试使用与初始记录相同的主键添加新记录(然后推送),我得到一个异常(exception)。 EntityDomainManager
打开软删除后,我在客户端上添加一条记录,推送,删除添加的记录推送,然后尝试使用与初始记录相同的主键添加新记录(然后推送),我得到一个异常(exception)。 EntityDomainManager
我有一个应用程序,每 x 秒接收一次天气信息。我想将此数据保存到 XML 文件中。 我应该为每个天气通知创建一个新的 XML 文件,还是将每个通知附加到同一个 XML 文件中?我不确定 XML 标准的
我猜我们大多数人都必须在某个时候处理这个问题,所以我想我会问这个问题。 当您的 BLL 中有很多集合并且您发现自己一遍又一遍地编写相同的旧内联(匿名)谓词时,显然有必要进行封装,但实现封装的最佳方
我有一些 c# 代码已经运行了一段时间了..我不得不说,虽然我了解 OO 原则的基础知识,但显然有不止一种方法可以给猫剥皮(尽管我讨厌那个短语!)。 因此,我有一个基本抽象类作为基本数据服务类,如下所
我设计了一个 SQL 数据库系统(使用 Postgre),我有一个问题,即创建一个关系/引用的常见做法是什么,这种关系/引用即使在引用的对象被删除时也能持续存在。 比如有一个UserORM,还有Act
我们的目标是搜索用户输入的字符串并计算在其中找到多少元音。不幸的是我被困在这里,有什么帮助吗? def numVowels(s): vowels= "AEIOUaeiou" if s
我有一个适用于我的“items”int 数组的旋转函数。下面的代码完成了它,除了我不必要地传输值。我正在努力实现“就地”轮换。我的意思是 ptrs 会递增或递减,而不是从数组中获取值。我需要通过这种方
我有一个 json 存储在我的应用程序文档文件夹中,我需要在我的所有 View 中使用它。我正在加载 json 并将其添加到每个 View 中的 NSMutableArray。但现在我了解到,我可以将
我用 C++ 开始了一个项目。这种语言的内存管理对我来说是新的。 我过去常常使用 new () 创建对象,然后传递指针,虽然它可以工作,但调试起来很痛苦,人们看到代码时会用有趣的眼神看着我。我为它没有
已结束。 这个问题是 off-topic .它目前不接受答案。 想要改进这个问题? Update the question所以它是on-topic堆栈溢出。 关闭 10 年前。 Improve thi
保持类松散耦合是编写易于理解、修改和调试的代码的一个重要方面——我明白这一点。然而,作为一个新手,几乎任何时候我都会超越我所苦苦挣扎的最简单的例子。 我或多或少地了解如何将字符串、整数和简单数据类型封
我发现我需要编写大量重复代码,因为我无法从其他 Controller 调用函数。例如,这里新闻提要内容在我的代码中重复,我对一个 Controller 做一些特定的事情,然后需要像这样加载我的新闻提要
假设需要一种数字数据类型,其允许值在指定范围内。更具体地说,假设要定义一个整数类型,其最小值为0,最大值为5000。这种情况在很多情况下都会出现,例如在对数据库数据类型,XSD数据类型进行建模时。 在
假设我想循环整个数组来访问每个元素。使用 for 循环、for...in 循环或 for...of 循环是 JavaScript 开发人员的标准做法吗? 例如: var myArray = ["app
我有一个旧的 SL4/ria 应用程序,我希望用 Breeze 取代它。我有一个关于内存使用和缓存的问题。我的应用程序加载工作列表(一个典型的用户可以访问大约 1,000 个这些工作)。此外,还有很多
我是一名优秀的程序员,十分优秀!