gpt4 book ai didi

html - 使用混合字符编码读取 R 中的文件

转载 作者:技术小花猫 更新时间:2023-10-29 12:34:43 35 4
gpt4 key购买 nike

我正在尝试从主要以 UTF-8 编码(并声明 <meta charset="utf-8"> )但有一些其他编码(我认为是 Windows-1252 或 ISO 8859-1)的 HTML 页面中将表格读入 R . Here's an example.我希望所有内容都正确解码为 R 数据帧。 XML::readHTMLTable需要 encoding参数,但似乎不允许尝试多种编码。

那么,在 R 中,如何为输入文件的每一行尝试多种编码?在 Python 3 中,我会做类似的事情:

with open('file', 'rb') as o:
for line in o:
try:
line = line.decode('UTF-8')
except UnicodeDecodeError:
line = line.decode('Windows-1252')

最佳答案

似乎确实有用于猜测字符编码的 R 库函数,例如 stringi::stri_enc_detect,但如果可能的话,最好使用更简单的确定性方法来尝试一组固定的编码命令。看起来最好的方法是利用以下事实:当 iconv 无法转换字符串时,它会返回 NA

linewise.decode = function(path)
sapply(readLines(path), USE.NAMES = F, function(line) {
if (validUTF8(line))
return(line)
l2 = iconv(line, "Windows-1252", "UTF-8")
if (!is.na(l2))
return(l2)
l2 = iconv(line, "Shift-JIS", "UTF-8")
if (!is.na(l2))
return(l2)
stop("Encoding not detected")
})

如果你创建一个测试文件

$ python3 -c 'with open("inptest", "wb") as o: o.write(b"This line is ASCII\n" + "This line is UTF-8: I like π\n".encode("UTF-8") + "This line is Windows-1252: Müller\n".encode("Windows-1252") + "This line is Shift-JIS: ハローワールド\n".encode("Shift-JIS"))'

然后 linewise.decode("inptest") 确实返回了

[1] "This line is ASCII"                    
[2] "This line is UTF-8: I like π"
[3] "This line is Windows-1252: Müller"
[4] "This line is Shift-JIS: ハローワールド"

要将 linewise.decodeXML::readHTMLTable 一起使用,只需说类似 XML::readHTMLTable(linewise.decode("http://example .com")).

关于html - 使用混合字符编码读取 R 中的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56429901/

35 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com