r - 从字符串中删除 Unicode 替换字符

Question

我有一个包含一亿行的数据集，其中大约有 10 行具有某种 Unicode 替换字符。此特定字符的文本表示是“< U+FFFD>”(删除空格)，但也有其他字符。

我想删除这个角色，但我想不出办法。

str <- "торгово производственн��я компания"
gsub("<U+FFFD>", "", str)
"торгово производственн��я компания"

如果我需要提供任何其他信息，请告诉我。另外，我将非常感谢您解释这里到底发生了什么(比如为什么普通的 gsub 不起作用以及为什么它会这样显示)

Answer 1

您正在使用 gsub以正则表达式模式作为第一个参数的函数。 <U+FFFD>模式匹配< , 1 个或多个 U符号，然后是 FFFD>字符序列。

它会像这样工作:

> str2 <- "торгово <UUUFFFD> производственн��я компания"
> gsub("<U+FFFD>", "", str2)
[1] "торгово  производственн��я компания"

仅使用文字字符串替换:

> str <- "торгово производственн��я компания"
> gsub("\uFFFD", "", str, fixed=TRUE)
[1] "торгово производствення компания"