gpt4 book ai didi

PostgreSQL去掉表中所有不可见字符的操作

转载 作者:qq735679552 更新时间:2022-09-27 22:32:09 26 4
gpt4 key购买 nike

CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章PostgreSQL去掉表中所有不可见字符的操作由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.

问题描述 。

数据库中的某些数据中包含了某些不可见字符。ASCII码中的0-31,127属于控制字符,不可见.

这些不可见字符往往是不需要的,我们要想办法删除它.

解决办法 。

写一函数,将所有字段中的不可见字符替换为空格.

测试流程 。

环境准备 。

建表,并插入带不可见字符的记录。注:下列数据中的不可见字符在粘贴过来的时候自动去掉了,请按ALT+数字键加入.

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
CREATE TABLE public .test_table
(
 
  xm character varying (50),
  pinyin character varying (200),
  sm character (15)
)
WITH (
  OIDS= FALSE
);
ALTER TABLE public .test_table
  OWNER TO postgres;
 
 
-- ----------------------------
-- Records of test_table
-- ----------------------------
INSERT INTO ry_syrk_copy VALUES ( '周小星xx' , 'xx测试' , '测试' );
INSERT INTO ry_syrk_copy VALUES ( '李华' , '测试xx' , '世xx界' );

注:因不可见字符无法在CSDN中无法打出,故用xx代替。实际上在其它地方可以用ALT+数字键打印出来.

去掉表中所有的不可见字符 。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
-- 函数说明:将表test_table中所有的不可见字符替换掉
CREATE OR REPLACE FUNCTION delete_special_char() RETURNS int8 AS $$
DECLARE
  row RECORD; 
BEGIN
 
-- 查询表中所有类型为字符串的列
FOR row in select column_name from information_schema.columns where table_name = 'test_table' and data_type like 'character%' LOOP
  FOR i IN 1..31 LOOP --替换所有的不可见字符为空格(除了chr(0)之外)
   EXECUTE 'update test_table set ' || row.column_name || ' = replace(' || row.column_name || ', chr(' || i || '), ' ' ' ' )' ;
  END LOOP;  
END LOOP;
 
RETURN 1;
 
END ;
 
$$ LANGUAGE plpgsql;

执行函数 。

执行函数–select * from delete_special_char(),之后查看表数据,所有的不可见字符都被替换为空格.

补充–如何删除chr(0) 。

值得注意的是上述函数并不能删除chr(0)的不可见字符,见如下测试.

PostgreSQL去掉表中所有不可见字符的操作

但oracle中上述语句却可以成功执行,下面我就来讲一讲吧~ 。

Oracle中varchar2字段的不可见字符处理 。

在以前的项目中,曾经出现加密后的字符串数据丢失,加密内容无法正常解密的情况,经查找原因,发现是数据库表的varchar2字段中有chr(0)的不可见字符(即我们通常所说的\0),当出现这种情况时,由于java和c++中对字符串处理的不同,将会导致所取得的字符串长度不同.

在java中,字符串的长度可以通过取字符串的字节数组来获得,这样得到的字符串长度为字符串实际的大小(汉字2个字节,其他1个字节);在c++中通过strlen函数获得的字符串长度为第一个字节\0之前的字符长度.

当我们在编写jni的时候,经常会遇到将java的字符串转换为c++中的字符串的情况,这样,当java中的字符串包含\0的空字节时,在对c++转换后的字符串求取长度时,不要使用strlen函数,否则,其仅仅对\0字节之前的内容求取长度,与实际大小不同.

解决该类问题,根据所属应用的不同,可通过三种手段解决:

在数据库层解决:

Oracle数据库中,可在查询语句中使用函数replace来去除字符串中的非可见字符,例如:

select replace(content,chr(0),null) from bossquery_request where sky_command = '02',

以后大家如果遇到类似情况,可通过replace(字段名,chr(ASCII码值),null)来去掉其中对应的ASCII码值的字符.

在java程序中解决:

在java程序中,大家可通过获取String对象的所有字节内容,对字节内容进行扫描,来去掉其中不需要的字节.

在JNI层解决:

在JNI层解决该问题的方式是,不要使用strlen函数来获取字符串长度,可通过GetArrayLength取字节数组长度函数或者其他类似函数来获取字符串长度,则可避免该情况发生.

以上为个人经验,希望能给大家一个参考,也希望大家多多支持我。如有错误或未考虑完全的地方,望不吝赐教.

原文链接:https://blog.csdn.net/u012948976/article/details/52917218 。

最后此篇关于PostgreSQL去掉表中所有不可见字符的操作的文章就讲到这里了,如果你想了解更多关于PostgreSQL去掉表中所有不可见字符的操作的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com