gpt4 book ai didi

python - 将不良文本转换为韩语

转载 作者:行者123 更新时间:2023-12-03 14:31:13 26 4
gpt4 key购买 nike

问题
我正在清理一些旧的韩语代码,我想将一些曾经是韩语的代码部分翻译成英语。但是,似乎出现了编码问题,文本不再是韩文。相反,这是一团乱码。
我想从断线到英文翻译。
我的计划是从损坏的字符串开始,使用用于在我的计算机上解码损坏的字符串的编解码器将其编码为二进制文件,使用韩文编解码器将该二进制文件解码为韩文,然后谷歌将该韩文翻译成英文。 问题是我不知道如何将这个烂摊子解码成可读的韩语。
我试过的
我开始编写一些 Python3 代码来翻译它,但我不断遇到编码错误,老实说,我不知道从哪里开始。编写此代码时假设韩国人使用 cp949编解码器,我不确定。

fileIn = open('Broken_Korean.txt', 'r', encoding='cp949')
fileOut = open('Fixed_Korean.txt', 'w')

Lines = fileIn.readlines()
for line in Lines:
fileOut.write(str(line.encode('cp949')))
fileOut.write('\n')
fileOut.write(line.encode('cp949').decode('utf-8'))
我也研究过这个问题,但我没有发现任何突破性的东西。我相信用于显示损坏字符串的编解码器是 UTF-8,但我可能会弄错。我不知道原始韩语是怎么写的,除了它是使用“多字节编码方案(MBCS)”编写的。就上下文而言,编写的程序是 LabVIEW 2015。据推测,他们在编写初始代码时使用了韩文版本。
断弦的一些例子: ÆÄÀÏ ´ëÈ­ »óÀÚ5 ÆÄÀÏ ´ëÈ­ »óÀÚ6 ÆÄÀÏ ´ëÈ­ »óÀÚ幸运的是,一些编码错误发生在枚举上,所以我能够找到英文翻译。使用该翻译,我可以猜测古兰经可能是什么,但我不确定。我认为这可能有助于我推断使用的编解码器,但我不知道该怎么做。 À¯ÇÑ »ùÇà = 有限样本 > 유한 샘플 ¿¬¼Ó »ùÇà = 连续样本 > 연속 샘플 Çϵå¿þ¾î ŸÀֿ̹¡ ÀÇÇÑ ´ÜÀÏ Æ÷ÀÎÆ® = 硬件定时单点 > 하드웨어 타이밍 단일 포인트
任何有关编码的帮助或有关如何解决此问题的提示将不胜感激!我现在很失落。
编辑:
这是一些损坏字符串的十六进制转储:
Broken_Korean.txt
ÆÄÀÏ ´ëÈ­ »óÀÚ5
ÆÄÀÏ ´ëÈ­ »óÀÚ6
ÆÄÀÏ ´ëÈ­ »óÀÚ
À¯ÇÑ »ùÇÃ
¿¬¼Ó »ùÇÃ
Çϵå¿þ¾î ŸÀֿ̹¡ ÀÇÇÑ ´ÜÀÏ Æ÷ÀÎÆ®
hexdump -C Broken_Korean.txt                                       
000000 c3 86 c3 84 c3 80 c3 8f 20 c2 b4 c3 ab c3 88 c2 ........ .......
000010 ad 20 c2 bb c3 b3 c3 80 c3 9a 35 0d 0a c3 86 c3 . ........5.....
000020 84 c3 80 c3 8f 20 c2 b4 c3 ab c3 88 c2 ad 20 c2 ..... ........ .
000030 bb c3 b3 c3 80 c3 9a 36 0d 0a c3 86 c3 84 c3 80 .......6........
000040 c3 8f 20 c2 b4 c3 ab c3 88 c2 ad 20 c2 bb c3 b3 .. ........ ....
000050 c3 80 c3 9a 0d 0a c3 80 c2 af c3 87 c3 91 20 c2 .............. .
000060 bb c3 b9 c3 87 c3 83 0d 0a c2 bf c2 ac c2 bc c3 ................
000070 93 20 c2 bb c3 b9 c3 87 c3 83 0d 0a c3 87 c3 8f . ..............
000080 c2 b5 c3 a5 c2 bf c3 be c2 be c3 ae 20 c3 85 c2 ............ ...
000090 b8 c3 80 c3 8c c2 b9 c3 96 c2 bf c2 a1 20 c3 80 ............. ..
0000a0 c3 87 c3 87 c3 91 20 c2 b4 c3 9c c3 80 c3 8f 20 ...... ........
0000b0 c3 86 c3 b7 c3 80 c3 8e c3 86 c2 ae ............

最佳答案

hexdump 中的数据可能被读取为 ISO-8859-1(又名 Latin-1)并重新保存为 UTF-8。要反转,解码为 UTF-8 以获得原始 cp939字节值,但在 Unicode 字符串中作为 Unicode 代码点。 latin1编解码器占用前 256 个码位,用它编码会得到一个字节串,其字节值相同。然后可以应用正确的编解码器解码回 Unicode 字符串:

data = bytes.fromhex('''
c3 86 c3 84 c3 80 c3 8f 20 c2 b4 c3 ab c3 88 c2
ad 20 c2 bb c3 b3 c3 80 c3 9a 35 0d 0a c3 86 c3
84 c3 80 c3 8f 20 c2 b4 c3 ab c3 88 c2 ad 20 c2
bb c3 b3 c3 80 c3 9a 36 0d 0a c3 86 c3 84 c3 80
c3 8f 20 c2 b4 c3 ab c3 88 c2 ad 20 c2 bb c3 b3
c3 80 c3 9a 0d 0a c3 80 c2 af c3 87 c3 91 20 c2
bb c3 b9 c3 87 c3 83 0d 0a c2 bf c2 ac c2 bc c3
93 20 c2 bb c3 b9 c3 87 c3 83 0d 0a c3 87 c3 8f
c2 b5 c3 a5 c2 bf c3 be c2 be c3 ae 20 c3 85 c2
b8 c3 80 c3 8c c2 b9 c3 96 c2 bf c2 a1 20 c3 80
c3 87 c3 87 c3 91 20 c2 b4 c3 9c c3 80 c3 8f 20
c3 86 c3 b7 c3 80 c3 8e c3 86 c2 ae
''')

fixed = data.decode('utf8').encode('latin1').decode('cp949')
print(fixed)
输出:
파일 대화 상자5
파일 대화 상자6
파일 대화 상자
유한 샘플
연속 샘플
하드웨어 타이밍에 의한 단일 포인트
翻译(谷歌翻译):
File Dialog 5
File Dialog 6
File dialog
Finite sample
Continuous sample
Single point by hardware timing
如果从文件开始,将文件读取为 UTF-8,应用修复,然后将其写回(正确的)UTF-8:
with open('Broken_Korean.txt', 'r', encoding='utf8') as f:
data = f.read().encode('latin1').decode('cp949')

with open('Fixed_Korean.txt', 'w', encoding='utf8') as f:
f.write(data)

关于python - 将不良文本转换为韩语,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66617016/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com