个人中心
gpt4 book ai didi

linux系统下批量转换UTF8到GB2312并处理UTF8的BOM标记

转载 作者：qq735679552 更新时间：2022-09-29 22:32:09 25 4
gpt4 key购买 nike

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章linux系统下批量转换UTF8到GB2312并处理UTF8的BOM标记由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

背景 。

　　本人在使用oracle的sqlplus批量导入UTF8编码的sql脚本时，由于不了解如何设置让sqlplus识别UTF8格式，导致出现乱码、错行等错误，而使工作无法继续，在google无果的情况下只好想办法转换编码.

　　由于文件较多，手动转换太麻烦，于是想到用脚本批量转换，幸好网上相关脚本比较多，实现起来唯一的麻烦是UTF8的BOM标记.

　　内容:

  。

复制代码

代码如下

　　#!/bin/bash
　　for loop in `find . -type f -name "*.sql" -print`do
　　echo $loop
　　mv -f $loop $loop.tmp
　　dos2unix $loop.tmp
　　file_check_utf8='file_check_utf8.log'
　　sed -n '1l' $loop.tmp >$file_check_utf810. if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>&111. then
echo 'UTF-8 BOM'
sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt
rm -rf $loop.tmp
　　elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>&118. then
echo 'UTF-8'
　　 iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp
　　 else
echo 'ANSI'
mv -f $loop.tmp $loop
　　fi
　　rm -rf $file_check_utf8
　　 #模拟unix2dos，要求文本文件最后一行必须有换行符28. sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop29. mv -f $loop.tmp $loop
　　done
　　
　　#!/bin/bash
　　for loop in `find . -type f -name "*.sql" -print`do
　　echo $loop
　　mv -f $loop $loop.tmp
　　dos2unix $loop.tmp
　　file_check_utf8='file_check_utf8.log'
　　sed -n '1l' $loop.tmp >$file_check_utf810. if grep '^\\357\\273\\277' $file_check_utf8 >/dev/null 2>&111. then
echo 'UTF-8 BOM'
sed -n -e '1s/^...//' -e 'w intermediate.txt' $loop.tmp14. iconv -f UTF-8 -t GB2312 -o $loop intermediate.txt15. rm -rf intermediate.txt
rm -rf $loop.tmp
　　elif iconv -f UTF-8 -t GB2312 $loop.tmp >/dev/null 2>&118. then
echo 'UTF-8'
　　 iconv -f UTF-8 -t GB2312 -o $loop $loop.tmp21. rm -rf $loop.tmp
　　 else
echo 'ANSI'
mv -f $loop.tmp $loop
　　fi
　　rm -rf $file_check_utf8
　　 #模拟unix2dos，要求文本文件最后一行必须有换行符28. sed -n -e 's/$/\r/g' -e 'w '$loop.tmp $loop29. mv -f $loop.tmp $loop
　　done

  。

　　解释 。

　　1.处理UTF8的BOM，本人没有找到好的办法，最后用sed＋grep判断了一下，如果前三个字节是\\357\\273\\277，则文件必定是UTF8，用sed去掉这三个字节再转换 。

　　2.为了避免重复或者遗漏，脚本中用iconv对没有BOM的文件尝试转换了一把，转换成功说明文件是UTF8，否则说明是ANSI也就是GB2312 。

　　3.关于最后的sed命令，那是因为本人的系统上没有unix2dos命令，所以进行了模拟，目的是为了方便自己在windows下查看和编辑 。

　　以上就是linux 批量转换UTF8到GB2312并处理UTF8的BOM标记 的方法，谢谢阅读，希望能帮到大家，请继续关注我，我们会努力分享更多优秀的文章.

最后此篇关于linux系统下批量转换UTF8到GB2312并处理UTF8的BOM标记的文章就讲到这里了,如果你想了解更多关于linux系统下批量转换UTF8到GB2312并处理UTF8的BOM标记的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

25 4 0
文章推荐： Linux系统的基本命令之逻辑命令的使用方法
文章推荐： Linux基本命令之date命令的参数及获时间戳的方法
文章推荐： linux系统中一次用户态进程死循环案例的分析过程以及解决办法
文章推荐： linux系统下ubuntu 中截图工具及快捷键设置
qq735679552
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
全站热门文章
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com