gpt4 book ai didi

由于包含 "incomplete"表情符号的字符串,Swift 4 base64 字符串到数据无法正常工作

转载 作者:搜寻专家 更新时间:2023-11-01 06:57:40 26 4
gpt4 key购买 nike

我来自这篇文章Swift 4 JSON String with unknown UTF8 "�" character is not convertible to Data/ Dictionary但与此同时,我能够将问题隔离为 10 个字符的字符串。

简短介绍:一位用户的应用没有显示任何内容。用 TextWrangler 查看他的 6kb 纯文本数据,我发现了 2 个红色问号

enter image description here .

我试图在问号周围剪切一些 base64 编码的数据 block ,并将它们转换为不起作用的数据。一旦我从 block 中删除红色问号中的位,它似乎又可以工作了。请看看我的以下 Playground 示例:

//those do NOT work
let toEndBracket = "ACAAKgBVAFMAQQAqACAnlgAg2DwAIgB9AF0A" // *USA* ' <"}]//
let toMidBracket = "ACAAKgBVAFMAQQAqACAnlgAg2DwAIgB9" // *USA* ' <"}//
let toCarrot = "ACAAKgBVAFMAQQAqACAnlgAg2DwA" // *USA* ' <//
let toSpace = "ACAAKgBVAFMAQQAqACAnlgAg" // *USA* ' //

//but this one WORKS
let toApostrophe = "ACAAKgBVAFMAQQAqACAn" // *USA* '//
//(basically the last one is without the space before the carrot, I've added the slashes after it to emphasize that)
//clear strings taken from https://www.base64decode.org/ using the UTF-8 setting WITHOUT "Live mode".

if let textData = Data(base64Encoded: toApostrophe) {
print("Data created") //works for all of them
print(textData)
if let decodedString = String(data: textData, encoding: .utf8) {
print("WORKED!!!") //only happens for the toApostrophe
print(decodedString)
} else {
print("DID NOT WORK")
}
}

所以基本上一包含lgAg就失效了。用 U29t 之类的东西替换它确实可以使小字符串再次工作,但我不能在生产代码中这样做,因为我确信我的例子不是这个问题的唯一出现。我不在乎导致这种情况的原始字符/符号/表情符号会发生什么,如果有一种方法可以“忽略”它们,那将非常有帮助!

这是发生这种情况的另一个例子:

//OTHER SYMBOL WITH SAME BEHAVIOR
//not working
let secondFromSpace = "ACDYPAAiACwA" // <",//

//WORKING
let secondFromCarrot = "PAAiACwA" //<",//

这是其栖息地中的原始文本,一 strip 有表情符号的信使消息说“美国”,因此在我的示例文本中使用“美国”,我怀疑是表情符号导致它崩溃:

enter image description here

如果有人能告诉我如何“清理”base64 字符串以便它再次转换为数据,我将不胜感激。这也可能是由于某些表情符号的一些奇怪编码,但在大多数情况下,应用程序可以很好地接收和显示带有表情符号的内容。


我终于明白为什么会这样了。这不是我的问题的快速解决方案,但现在它至少有一定的意义。对于新内容的预览,我切断了字符串以匹配浏览器的视口(viewport)。这个特别不幸的用户在显示屏边框的边缘有美国国旗表情符号。我从来没有想过由多个字母组成的表情符号和 JavaScript 的 substring() 将它们斩首。看看图片,这解释了角色的来源等。

关于如何在 Swift 中避免/忽略/捕获它的答案,我仍然很感激,但对于遇到这个问题的每个可怜的灵魂,我希望你会偶然发现这个线程。

enter image description here

最佳答案

(其中一些是评论之外的,但试图将其整合并描述解决方案。)

首先,您的字符串不是 UTF-8。它们是 UTF-16 或格式错误的 UTF-16。有时 UTF-16 恰好可以解释为 UTF-8,但当它是时,字符串中会散布 NULL 字符。在您的“工作”示例中,它实际上并没有工作。

let toApostrophe = "ACAAKgBVAFMAQQAqACAn"                 // *USA* '//
if let textData = Data(base64Encoded: toApostrophe) {
if let decodedString = String(data: textData, encoding: .utf8) {
print(decodedString)
print(decodedString.count)
print(decodedString.map { $0.unicodeScalars.map { $0.value } } )
} else {
print("DID NOT DECODE UTF8")
}
} else {
print("DID NOT DECODE BASE64")
}

打印:

 *USA* '
15
[[0], [32], [0], [42], [0], [85], [0], [83], [0], [65], [0], [42], [0], [32], [39]]

请注意,字符串的长度为 15 个字符,而不是您可能期望的 8 个字符。这是因为它在大多数字符之间包含一个额外的不可见 NULL (0)。

然而,

toEndBracket 并不是合法的 UTF-8。这是它的字节:

[“00”、“20”、“00”、“2a”、“00”、“55”、“00”、“53”、“00”、“41”、“00”、“2a” ", "00", "20", "27", "96", "00", "20", "d8", "3c", "00", "22", "00", "7d", “00”、“5d”、“00”]

在到达 0xd8 之前,一切正常。它以位 110 开始,表示它是一个两字节序列的开始。但下一个字节是 0x3c,它不是多字节序列的有效第二个字节(它应该以 10 开头,但它以 00 开头)。所以我们不能将其解码为 UTF-8。即使使用 decodeCString(_:as:repairingInvalidCodeUnits) 也无法解码此字符串,因为它充满了嵌入的 NULL。您必须至少使用正确的编码对其进行解码。

但让我们这样做吧。解码为 UTF-16。至少这很接近,即使它是稍微无效的 UTF-16。

let toEndBracket16 = String(data: toEndBracketData, encoding: .utf16)
// " *USA* ➖ �"}]"

现在我们至少可以解决这个问题。不过,它是无效的 JSON。所以我们可以通过过滤来去除它:

let legalJSON = String(toEndBracket16.filter { $0 != "\u{FFFD}" })
// " *USA* ➖ "}]"

我真的不推荐这种方法。它非常脆弱,并且基于损坏的输入。固定输入。但在您尝试解析损坏的输入的世界中,这些就是工具。

关于由于包含 "incomplete"表情符号的字符串,Swift 4 base64 字符串到数据无法正常工作,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52524382/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com