gpt4 book ai didi

ios - 清理格式错误的 UTF-8 数据

转载 作者:搜寻专家 更新时间:2023-10-30 21:55:50 27 4
gpt4 key购买 nike

背景

使用 Swift,我尝试通过 URLSession 获取 HTML,而不是首先将其加载到 WKWebView 中,因为我只需要 HTML 而不需要任何子资源。我遇到了某些页面的问题,这些页面在加载到 WKWebView 时有效,但在通过 URLSession 加载时(甚至是简单的 NSString(contentsOf: url, encoding String.Encoding.utf8.rawValue)) UTF-8 转换失败。

如何重现

失败(打印“nil”):

print(try? NSString(contentsOf: URL(string: "http://www.huffingtonpost.jp/techcrunch-japan/amazon-is-gobbling-whole-foods-for-a-reported-13 -7-billion_b_17171132.html?utm_hp_ref=japan&ir=Japan")!, 编码: String.Encoding.utf8.rawValue))

但是将 URL 更改为站点主页,它成功了:

print(try?NSString(contentsOf: URL(string: "http://www.huffingtonpost.jp")!, encoding: String.Encoding.utf8.rawValue))

问题

如何“清理”由包含格式错误的 UTF-8 的 URL 返回的数据?我想删除或替换格式错误的 UTF-8 中的任何无效序列,以便可以查看其余部分。 WKWebView 能够很好地呈现页面(并声称它也是 UTF-8 内容),您可以通过访问 URL 看到:http://www.huffingtonpost.jp/techcrunch-japan/amazon-is-gobbling-whole-foods-for-a-reported-13-7-billion_b_17171132.html?utm_hp_ref=japan&ir=Japan

最佳答案

这是一种从(可能)格式错误的字符串中创建 String 的方法UTF-8 数据:

  • 将网站内容读入 Data 对象。
  • 附加一个0字节使其成为“C字符串”
  • 使用 String(cString:) 进行转换。此初始化程序将格式错误的 UTF-8 代码单元序列替换为 Unicode 替换字符 ("\u{FFFD}")。
  • 可选:删除所有出现的替换字符。

“清洁”过程的示例:

var data = Data(bytes: [65, 66, 200, 67]) // malformed UTF-8

data.append(0)
let s = data.withUnsafeBytes { (p: UnsafePointer<CChar>) in String(cString: p) }
let clean = s.replacingOccurrences(of: "\u{FFFD}", with: "")

print(clean) // ABC

swift 5:

var data = Data([65, 66, 200, 67]) // malformed UTF-8
data.append(0)
let s = data.withUnsafeBytes { p in
String(cString: p.bindMemory(to: CChar.self).baseAddress!)
}
let clean = s.replacingOccurrences(of: "\u{FFFD}", with: "")
print(clean) // ABC

当然这可以定义为自定义初始化方法:

extension String {
init(malformedUTF8 data: Data) {
var data = data
data.append(0)
self = data.withUnsafeBytes { (p: UnsafePointer<CChar>) in
String(cString: p).replacingOccurrences(of: "\u{FFFD}", with: "")
}
}
}

swift 5:

extension String {
init(malformedUTF8 data: Data) {
var data = data
data.append(0)
self = data.withUnsafeBytes{ p in
String(cString: p.bindMemory(to: CChar.self).baseAddress!)
}.replacingOccurrences(of: "\u{FFFD}", with: "")
}
}

用法:

let data = Data(bytes: [65, 66, 200, 67])
let s = String(malformedUTF8: data)
print(s) // ABC

使用 transcode 可以更“直接”地完成清理

extension String {
init(malformedUTF8 data: Data) {
var utf16units = [UInt16]()
utf16units.reserveCapacity(data.count) // A rough estimate

_ = transcode(data.makeIterator(), from: UTF8.self, to: UTF16.self,
stoppingOnError: false) { code in
if code != 0xFFFD {
utf16units.append(code)
}
}

self = String(utf16CodeUnits: utf16units, count: utf16units.count)
}
}

这本质上就是 String(cString:)做,比较 CString.swiftStringCreate.swift .

另一种选择是使用 UTF8 编解码器 decode() 方法并忽略错误:

extension String {
init(malformedUTF8 data: Data) {
var str = ""
var iterator = data.makeIterator()
var utf8codec = UTF8()
var done = false
while !done {
switch utf8codec.decode(&iterator) {
case .emptyInput:
done = true
case let .scalarValue(val):
str.unicodeScalars.append(val)
case .error:
break // ignore errors
}
}
self = str
}
}

关于ios - 清理格式错误的 UTF-8 数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44611598/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com