r - 希伯来语在 R 中编码 hell 并在 Windows 中编写 UTF-8 表

Question

我正在尝试保存使用 RSelenium 提取的数据来自 https://www.magna.isa.gov.il/Details.aspx?l=he ，但尽管 R 成功地将希伯来语字符打印到控制台，但在导出 TXT、CSV 或其他简单的 R 函数(如 data.frame())时却不会。 , readHTMLTable() ， 等等。

这是一个例子。

> head(lines)
[1] "גלובל פיננס ג'י.אר. 2 בע\"מ נתונים כספיים באלפי דולר ארה\"ב"
[2] "513435404"                                                  
[3] ""                                                           
[4] ""                                                           
[5] ""                                                           
[6] "4,481" 

使用 data.frame() 时，第一行更改为奇怪的字符(如下)

> head(as.data.frame(lines))
[1] <U+05D2><U+05DC><U+05D5><U+05D1><U+05DC> <U+05E4><U+05D9><U+05E0><U+05E0><U+05E1> <U+05D2>'<U+05D9>.<U+05D0><U+05E8>. 2 <U+05D1><U+05E2>"<U+05DE> <U+05E0><U+05EA><U+05D5><U+05E0><U+05D9><U+05DD> <U+05DB><U+05E1><U+05E4><U+05D9><U+05D9><U+05DD> <U+05D1><U+05D0><U+05DC><U+05E4><U+05D9> <U+05D3><U+05D5><U+05DC><U+05E8> <U+05D0><U+05E8><U+05D4>"<U+05D1>

通过 write.table 导出 .TXT 或 .CSV 时也会发生同样的情况或 write.csv :

write.csv(lines,"lines.csv",row.names=FALSE)

我尝试将编码更改为“UTF-8”，就像在几个类似问题中所建议的那样，但是，问题仍然存在不同的格式:

iconv(lines, to = "UTF-8")
1 ׳’׳׳•׳‘׳ ׳₪׳™׳ ׳ ׳¡ ׳’'׳™.׳׳¨. 2 ׳‘׳¢"׳ ׳ ׳×׳•׳ ׳™׳ ׳›׳¡׳₪׳™׳™׳ ׳‘׳׳׳₪׳™ ׳“׳•׳׳¨ ׳׳¨׳”"׳‘

希伯来语 ISO-8859-8 相同:

iconv(lines, to = "ISO-8859-8")
    1 ×'×o×.×'×o ×₪×T× × ×! ×''×T.×ר. 2 ×'×¢"×z × ×a×.× ×T× ×>×!×₪×T×T× ×'××o×₪×T ×"×.×oר ×ר×""×'

我不明白为什么控制台能很好地打印希伯来语字符，而 write.table() , write.csv()和 data.frame()呈现编码问题。

谁能帮我导出？

That was answered by Ken, exporting text with writeLines() worked well:

f = file("lines.txt", open = "wt", encoding = "UTF-8")
writeLines(lines, "lines.txt", useBytes = TRUE)
close(f) 

然而， 主要问题 R 具有希伯来语编码 是 而 处理表格 , 形式为 as.data.frame() , write.table( ) 和 write.csv() .有什么想法吗？

一些机器信息:

Sys.info()
                 sysname                      release                      version 
               "Windows"                      "7 x64" "build 7601, Service Pack 1" 
                nodename                      machine                        login 
              "TALIS-TP"                        "x86"

> Sys.getlocale()
[1] "LC_COLLATE=English_United States.1252;LC_CTYPE=English_United States.1252;LC_MONETARY=English_United States.1252;LC_NUMERIC=C;LC_TIME=English_United States.1252"

Answer 1

许多人在使用 8 位系统编码 (Windows) 的平台上处理 UTF-8 文本时遇到了类似的问题。在 R 中编码可能很棘手，因为不同的方法处理编码和转换的方式不同，而且在一个平台(OS X 或 Linux)上看起来运行良好的东西在另一个平台上运行不佳。

问题与您的输出连接以及 Windows 如何处理编码和文本连接有关。我尝试使用一些 UTF-8 和 8 位编码的希伯来语文本来复制这个问题。我们还将介绍文件读取问题，因为那里也可能存在一些障碍。

测试用

创建了一个简短的希伯来语文本文件，编码为 UTF-8:hebrew-utf8.txt

创建了一个简短的希伯来语文本文件，编码为 ISO-8859-8:hebrew-iso-8859-8.txt . (注意:您可能需要告诉浏览器有关编码才能正确查看此编码 - 例如，Safari 就是这种情况。)

读取文件的方法

现在让我们进行实验。我使用 Windows 7 进行这些测试(它实际上适用于 OS X，我常用的操作系统)。

lines <- readLines("http://kenbenoit.net/files/hebrew-utf8.txt")
lines
## [1] "העברי ×”×•× ×—×‘×¨ בקבוצה ×”×›× ×¢× ×™×ª של שפות שמיות."                                                                     
## [2] "זו היתה ×©×¤×ª× ×©×œ ×”×™×”×•×“×™× ×ž×•×§×“×, ×בל מן 586 ×œ×¤× ×”\"ס ×–×” התחיל להיות מוחלף על ידי ב×רמית."

那失败了，因为它假定编码是您的系统编码，Windows-1252。但是因为在读取文件时没有发生转换，您可以通过将编码位设置为 UTF-8 来解决这个问题:

# this sets the bit for UTF-8
Encoding(lines) <- "UTF-8"
lines
## [1] "העברי הוא חבר בקבוצה הכנענית של שפות שמיות."                                          
## [2] "זו היתה שפתם של היהודים מוקדם, אבל מן 586 לפנה\"ס זה התחיל להיות מוחלף על ידי בארמית."

但最好在阅读文件时执行此操作:

# this does it in one pass
lines2 <- readLines("http://kenbenoit.net/files/hebrew-utf8.txt", encoding = "UTF-8")
lines2[1]
## [1] "העברי הוא חבר בקבוצה הכנענית של שפות שמיות."
Encoding(lines2)
## [1] "UTF-8" "UTF-8"

现在看看如果我们尝试读取相同的文本会发生什么，但编码为 8 位 ISO 希伯来语代码页。

lines3 <- readLines("http://kenbenoit.net/files/hebrew-iso-8859-8.txt")
lines3[1]
## [1] "äòáøé äåà çáø á÷áåöä äëðòðéú ùì ùôåú ùîéåú." 

设置编码位在这里没有帮助，因为读取的内容没有映射​​到希伯来语的 Unicode 代码点，和 Encoding()没有实际的编码转换，它只是设置一个额外的位，可以用来告诉 R 几个可能的编码值之一。我们可以通过添加 encoding = "ISO-8859-8" 来解决这个问题。到 readLines()称呼。我们也可以在加载后转换文本，使用 iconv() :

# this will not fix things
Encoding(lines3) <- "UTF-8"
lines3[1]
## [1] "\xe4\xf2\xe1\xf8\xe9 \xe4\xe5\xe0 \xe7\xe1\xf8 \xe1\xf7\xe1\xe5\xf6\xe4 \xe4\xeb\xf0\xf2\xf0\xe9\xfa \xf9\xec \xf9\xf4\xe5\xfa \xf9\xee\xe9\xe5\xfa."
# but this will
iconv(lines3, "ISO-8859-8", "UTF-8")[1]
## [1] "העברי הוא חבר בקבוצה הכנענית של שפות שמיות."

总的来说我认为上面使用的方法用于 lines2是最好的方法。

如何输出文件，保留编码

现在关于如何编写这个问题:最安全的方法是在低级别控制您的连接，您可以在其中指定编码。否则，默认是 R/Windows 选择您的系统编码，这将丢失 UTF-8。我认为这行得通，确实行得通 在 OS X 中绝对没问题 - 在 OS X 上也可以正常调用 writeLines()只是命名一个没有 textConnection 的文本文件。

## to write lines, use the encoding option of a connection object
f <- file("hebrew-output-UTF-8.txt", open = "wt", encoding = "UTF-8")
writeLines(lines2, f)
close(f)

但它在 Windows 上不起作用。您可以在此处查看 Windows 7 结果: hebrew-output-UTF-8-file_encoding.txt .

所以，这是如何做到的 在 Windows :一旦您确定您的文本编码为 UTF-8，只需将其写为原始字节，而不使用任何编码，如下所示:

writeLines(lines2, "hebrew-output-UTF-8-useBytesTRUE.txt", useBytes = TRUE)

您可以在 hebrew-output-UTF-8-useBytesTRUE.txt 查看结果，现在是 UTF-8 并且看起来正确。

Added for write.csv

请注意，您希望这样做的唯一原因是使 .csv 文件可用于导入其他软件，例如 Excel。 (祝您在 Excel/Windows 中使用 UTF-8 好运...)否则，您应该使用 write(myDataFrame, file = "myDataFrame.RData") 将 data.table 写为二进制文件。 .但如果你真的需要输出 .csv，那么:

如何从 data.table 写入 UTF-8 .csv 文件在 Windows 中

使用 write.table() 写入 UTF-8 文件的问题和 write.csv()是这些开放的文本连接，而 Windows 对 UTF-8 的编码和文本连接有限制。 ( This post 提供了有用的解释。)继发布 here 的 SO 回答之后，我们可以重写它来编写我们自己的函数来输出 UTF-8 .csv 文件。

这假设您已经设置了 Encoding()对于任何字符元素到 "UTF-8" (发生在上面为 lines2 导入时)。

df <- data.frame(int = 1:2, text = lines2, stringsAsFactors = FALSE)

write_utf8_csv <- function(df, file) {
    firstline <- paste('"', names(df), '"', sep = "", collapse = " , ")
    data <- apply(df, 1, function(x) {paste('"', x, '"', sep = "", collapse = " , ")})
    writeLines(c(firstline, data), file , useBytes = TRUE)
}

write_utf8_csv(df, "df_csv.txt")

当我们现在在非 Unicode 挑战的操作系统中查看该文件时，它现在看起来不错:

KBsMBP15-2:Desktop kbenoit$ cat df_csv.txt 
"int" , "text"
"1" , "העברי הוא חבר בקבוצה הכנענית של שפות שמיות."
"2" , "זו היתה שפתם של היהודים מוקדם, אבל מן 586 לפנה"ס זה התחיל להיות מוחלף על ידי בארמית."
KBsMBP15-2:Desktop kbenoit$ file df_csv.txt 
df_csv.txt: UTF-8 Unicode text, with CRLF line terminators