- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框,下拉多选树,多级节点
- 【学习笔记】基础数据结构:猫树
最近我在做知识星球中的商品秒杀系统,昨天遇到了一个诡异的json反序列化问题,感觉挺有意思的,现在拿出来跟大家一起分享一下,希望对你会有所帮助.
我最近在做知识星球中的商品秒杀系统,写了一个filter,获取用户请求的header中获取JWT的token信息.
然后根据token信息,获取到用户信息.
在转发到业务接口之前,将用户信息设置到用户上下文当中.
这样接口中的业务代码,就能通过用户上下文,获取到当前登录的用户信息了.
我们的token和用户信息,为了性能考虑都保存到了Redis当中.
用户信息是一个json字符串.
当时在用户登录接口中,将用户实体,使用fastjson工具,转换成了字符串:
JSON.toJSONString(userDetails);
保存到了Redis当中.
然后在filter中,通过一定的key,获取Redis中的字符串,反序列化成用户实体.
使用的同样是fastjson工具:
JSON.parseObject(json, UserEntity.class);
但在反序列化的过程中,filter抛异常了: com.alibaba.fastjson.JSONException: illegal identifier : \pos 1, line 1, column 2{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"} 。
我刚开始以为是json数据格式有问题.
将json字符串复制到在线json工具:https://www.sojson.com,先去掉化之后,再格式数据,发现json格式没有问题:
然后写了一个专门的测试类,将日志中打印的json字符串复制到json变量那里,使用JSON.parseObject方法,将json字符串转换成Map对象:
public class Test {
public static void main(String[] args) {
String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";
Map map = JSON.parseObject(json, Map.class);
// 输出解析后的 JSON 对象
System.out.println(map);
}
}
执行结果:
{password=$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe, credentialsNonExpired=true, roles=["admin"], accountNonExpired=true, id=13, authorities=[{"authority":"admin"}], enabled=true, accountNonLocked=true, username=admin}
竟然转换成功了.
这就让我有点懵逼了。。.
为什么相同的json字符串,在Test类中能够正常解析,而在filter当中却不行?
当时怕搞错了,debug了一下filter,发现获取到的json数据,跟Test类中的一模一样:
带着一脸的疑惑,我做了下面的测试.
莫非是反序列化工具有bug?
我尝试了一下将json的反序列化工具改成google的gson,代码如下:
Map map = new Gson().fromJson(userJson, Map.class);
运行之后,报了一个新的异常: com.google.gson.JsonSyntaxException: java.lang.IllegalStateException: Expected BEGIN_OBJECT but was STRING at line 1 column 2 path $ 。
这里提示json字符串中包含了:$.
而$是特殊字符,password是做了加密处理的,里面包含$和.,这两种特殊字符.
为了快速解决问题,我先将这两个特字符替换成空字符串:
json = json.replace("$","").replace(".","");
日志中打印出的json中的password,已经不包含这两个特殊字符了:
2a10o3XfeGr0SHStAwLuJRW6ykE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe
但调整之后代码报了下面的异常: com.google.gson.JsonSyntaxException: com.google.gson.stream.MalformedJsonException: Expected name at line 1 column 2 path $. 。
跟刚刚有点区别,但还是有问题.
我又尝试了一下json的反序列化工具,改成Spring自带的的jackson工具,代码如下:
ObjectMapper objectMapper = new ObjectMapper();
try {
Map map = objectMapper.readValue(json, Map.class);
} catch (JsonProcessingException e) {
e.printStackTrace();
}
调整之后,反序列化还是报错: com.fasterxml.jackson.core.JsonParseException: Unexpected character ('\' (code 92)): was expecting double-quote to start field name 。
3种反序列化工具都不行,说明应该不是fastjson的bug导致的当前json字符串,反序列化失败.
到底是什么问题呢?
之前的数据,我在仔细看了看.
里面是对双引号,是使用了转义的,具体是这样做的:\".
莫非还是这个转义的问题?
其实我之前已经注意到了转义的问题,但使用Test类测试过,没有问题.
当时的代码是这样的:
public class Test {
public static void main(String[] args) {
String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";
Map map = JSON.parseObject(json, Map.class);
// 输出解析后的 JSON 对象
System.out.println(map);
}
}
里面也包含了一些转义字符.
我带着试一试的心态,接下来,打算将转义字符去掉.
看看原始的json字符串,解析有没有问题.
怎么去掉转义字符呢?
手写工具类,感觉不太好,可能会写漏一些特殊字符的场景.
我想到了org.apache.commons包下的StringEscapeUtils类,它里面的unescapeJava方法,可以轻松去掉Java代码中的转义字符.
于是,我调整了一下代码:
json = StringEscapeUtils.unescapeJava(json);
JSON.parseObject(json, UserEntity.class);
这样处理之后,发现反序列化成功了.
这个问题最终发现还是转义的问题.
那么,之前Test类中json字符串,也使用了转义,为什么没有问题?
当时的代码是这样的:
public class Test {
public static void main(String[] args) {
String json = "{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"}";
Map map = JSON.parseObject(json, Map.class);
System.out.println(map);
}
}
但在filter中的程序,在读取到这个json字符串之后,发现该字符串中包含了\转义符号,程序自动把它变成了\\\.
调整一下Test类的main方法,改成三个斜杠的json字符串:
public static void main(String[] args) {
String json = "{\\\"accountNonExpired\\\":true,\\\"accountNonLocked\\\":true,\\\"authorities\\\":[{\\\"authority\\\":\\\"admin\\\"}],\\\"credentialsNonExpired\\\":true,\\\"enabled\\\":true,\\\"id\\\":13,\\\"password\\\":\\\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\\\",\\\"roles\\\":[\\\"admin\\\"],\\\"username\\\":\\\"admin\\\"}";
Map map = JSON.parseObject(json, Map.class);
System.out.println(map);
}
执行结果: Exception in thread "main" com.alibaba.fastjson.JSONException: illegal identifier : \pos 1, line 1, column 2{\"accountNonExpired\":true,\"accountNonLocked\":true,\"authorities\":[{\"authority\":\"admin\"}],\"credentialsNonExpired\":true,\"enabled\":true,\"id\":13,\"password\":\"$2a$10$o3XfeGr0SHStAwLuJRW6y.kE0UTerQfv3SXrAcVLuJ6M3hEsC9RKe\",\"roles\":[\"admin\"],\"username\":\"admin\"} 抛出了跟文章最开始一样的异常.
说明其实就是转义的问题.
之前,我将项目的日志中的json字符串,复制到idea的Test的json变量中,当时将最外层的双引号一起复制过来了,保存的是1个斜杠的数据.
这个操作把我误导了.
而后面从在线的json工具中,把相同的json字符串,复制到idea的Test的json变量中,在双引号当中粘贴数据,保存的却是3个斜杠的数据,它会自动转义.
让我意识到了问题.
好了,下次如果遇到类似的问题,可以直接使用org.apache.commons包下的StringEscapeUtils类,先去掉转义,再反序列化,这样可以快速解决问题.
此外,这次使用了3种不同的反序列化工具,也看到了其中的一些差异.
如果你对日常工作中的一些坑,比较感兴趣,可以看看我的技术专栏《程序员最常见的100个问题》,里面有很多干货,还是非常值得一看的.
如果这篇文章对您有所帮助,或者有所启发的话,帮忙扫描下发二维码关注一下,您的支持是我坚持写作最大的动力.
求一键三连:点赞、转发、在看。 关注公众号:【苏三说技术】,在公众号中回复:面试、代码神器、开发手册、时间管理有超赞的粉丝福利,另外回复:加群,可以跟很多BAT大厂的前辈交流和学习.
最后此篇关于一个难忘的json反序列化问题的文章就讲到这里了,如果你想了解更多关于一个难忘的json反序列化问题的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我目前正在对一个 mmorpg 的二进制网络协议(protocol)进行逆向工程。我正在用 java 实现该协议(protocol)。 对于每个数据包类型,我将创建一个表示二进制数据的类。 例如,聊天
我正在尝试围绕现有类编写半透明包装器,我希望它能够模仿其他类的序列化。 例如,给定以下类: class Foo { [JsonConverter(CustomConverter)] s
是否有使用 Jackson 序列化和反序列化枚举集的简单方法? private enum Type { YES, NO } @JacksonXmlProperty(localName = "t
我很想知道当我们反序列化一个对象时会发生什么。 例如,如果我的类对象由许多其他对象组成,对象创建过程如何在反序列化过程中发生 最佳答案 对象是用默认的初始化字段创建的,然后用从串行流中获取的属性值填充
我正在尝试序列化和反序列化(使用 QDataStream 但这与这里无关)一个 enum class变量: enum class Type : char { Trivial, Comp
我不确定这到底有什么问题...它不会为我编译,我将它从 c 翻译成 C++(或尝试)...是的,我是初学者。谢谢! #include #include using namespace std; i
我遇到的问题与此处描述的问题非常相似:Combining type and field serializers case class(id: Option[UUID], otherValue:Stri
我们知道base中的apply()可以对数组的边距应用一个函数,边距应该是行或列。我想将边距扩大到“对角线” 和“反对角线”。结构看起来像 diagApply <- function(x, FUN,
我找到了 JSON serialization and deserialization to objects in Flutter 的例子但是如何使用像这样的人员列表来做到这一点: [ {
我有一个相当大的terms聚合结果,这些结果被加载到下拉列表中以提供filter功能。 可以说,我的下拉列表中有4000多种动物。我的另一个下拉列表有4种动物颜色。 例, animal --> ["d
我需要将 C# (.NET Framework 4.5.2) 中的一个类与 XML 序列化(反序列化),该类具有 string 的字典属性。键和 string[]数组值。我正在使用 Serializa
[已解决]应用给定的解决方案,效果很好! 程序的目的:在用户打开和关闭程序时保存/重新加载以前的数据。 我曾经用一个对象(obj)成功(反)序列化,现在我有两个不同类的不同对象。 我试图通过查看其他帖
问题 假设我有一个代表某事或其他的枚举: public enum ResultState { Found, Deleted, NotFound } 在我的序列化 json 中,
是否有取消 JSON 字符串的功能?我猜它不会内置到 JQuery 中,但它可以通过编写一个操纵字符串的脚本来实现吗?我在下面遇到了这个问题。 我正在使用 NYTimes API,但它不支持 JSON
对于这个问题,假设当对象完全写入流并成功读出时,或者当对象部分写入流并且读回对象时发生异常时,序列化/反序列化是原子的。假设写操作可能无法成功完成,例如因为停电了。 在Serializable的描述中
有谁知道时序检查是否仍在检测虚拟环境?我尝试使用 rdtsc 指令来获取 cpu 周期并比较真实 linux 机器和在 virtualbox 上运行的 linux 之间的结果。但结果似乎不稳定。有时,
我正在对一个(外部给定的)XML 文件进行操作,该文件具有以下形式的元素 10 20 30 40 50 60 70 80 我知道如何将属性作为属性处理(通过使用 [XmlAttri
我有一个通用的序列化器和反序列化器,用于通过网络连接发送的消息: public static async Task SerializeObject(Object obj) {
我正在考虑将当前基于 WCF 的应用程序迁移到 protobuf-net.Grpc。这似乎是可行的,但是我无法在不包含所有具有 [ProtoInclude] 属性的派生类的情况下使(DTO 类)基类的
我正在尝试将一些数据保存到文件中,但文件保存到的目录不正确。 using (StreamWriter sw = new StreamWriter(dir + "\\temp" + x + ".txt"
我是一名优秀的程序员,十分优秀!