unicode - 谷歌计算器中的特殊字符

Question

在 previous question有人告诉我 Google 将 UTF-8 编码的响应传递给查询。这解决了通过 curl 传递到我的终端后不间断空格 (A0) 被混淆的问题。这是通过将 curl 输出传输到 inconv 并转换为 UTF-8 来解决的。然而，即使有了这个解决方案，我仍然得到一些奇怪的输出。

考虑以下 2 m 到英尺的转换:

http://www.google.com/ig/calculator?hl=en&q=2%20m%20in%20feet

这是我在浏览器和其他地方看到的输出:

{lhs: "2 meters",rhs: "6.56167979 feet (6 feet 6\x3csup\x3e47\x3c/sup\x3e\x26#8260;\x3csub\x3e64\x3c/sub\x3e inches)",error: "",icc: false}

预期的输出是:

{lhs: "2 meters",rhs: "6.56167979 feet (6 feet 6 47/64 inches)",error: "",icc: false}

我可以使用正则表达式或其他一些解决方案进行文本替换，但我想知道这里发生了什么。任何见解？

我正在运行 Mac OS X Mountain Lion 10.8.2

Answer 1

通过 curl 访问的 Google 计算器返回 JSON。 Google 使用\xHH 表示法，因为这是 JSON 的标准。如果输出被发送到浏览器(或任何其他解析 HTML 的东西)而不是标准输出，则只需要一个好的 JSON 解码器。

让我们看看我们可以从命令行做些什么来解析 JSON。
echo -en $(curl -s 'http://www.google.com/ig/calculator?hl=en&q=4^22') > ~/temp.html
这为我们提供了可以通过浏览器查看的有效 HTML，但我们需要将所有内容减少到可以通过标准输出显示的内容。
echo -en "$(curl -s --connect-timeout 10 "http://www.google.com/ig/calculator?hl=en&q=2%20m%20in%20feet")" | sed -e 's/<sup>/ &/g' -e :a -e 's/<[^>]*>//g;/</N;//ba' | perl -MHTML::Entities -ne 'print decode_entities($_)' | iconv -f ISO-8859-1 -t UTF-8
对于 echo 命令，-e 解释转义符，例如\x3e、\x3c 和\x26(分别为 <、> 和 &)，而 -n 会抑制 echo 通常添加的换行符。

到 sed 的管道在所有(上标)标签之前添加一个空格，然后删除所有 HTML 标签。

然后到 perl 的管道解码所有 HTML 实体，例如 ⁄ 到 ⁄(分数斜线)。
http://en.wikipedia.org/wiki/Html_special_characters#Character_entity_references_in_HTML

到 iconv 的管道将 ISO-8859-1 输出转换为预期的 UTF-8。这是最后完成的，因为 perl 行可以生成需要正确转换的 UTF-8 实体。

这在区分分数和指数时仍然存在问题(47/64，其中 47 包含在上标标签中，64 包含在下标标签中，而 10^13 中 13 包含在上标标签中)。

我们可以变得非常愚蠢并制作一个非常长的 sed 行来解析所有特殊字符(以下是在 AppleScript 中，因此您可以看到语法变得多么荒谬):
set jsonResponse to do shell script "curl " & queryURL & " | sed -e 's/[†]/,/g' -e 's/\\\\x26#215;/*/g' -e 's/\\\\x26#188;/ 1\\/4/g' -e 's/\\\\x26#189;/ 1\\/2/g' -e 's/\\\\x26#190;/ 3\\/4/g' -e 's/\\\\x26#8539;/ 1\\/8/g' -e 's/\\\\x26#8540;/ 3\\/8/g' -e 's/\\\\x26#8541;/ 5\\/8/g' -e 's/\\\\x26#8542;/ 7\\/8/g' -e 's/\\\\x3csup\\\\x3e\\([0-9]*\\)\\\\x3c\\/sup\\\\x3e\\\\x26#8260;\\\\x3csub\\\\x3e\\([0-9]*\\)\\\\x3c\\/sub\\\\x3e/ \\1\\/\\2/g' -e 's/\\\\x3csup\\\\x3e\\([0-9]*\\)\\\\x3c\\/sup\\\\x3e/^\\1/' -e 's/( /(/g'"
†( Dagger )字符在 MacRoman 集(Macintosh 编码)中是十进制的 160。在十六进制中，这是 0xA0 或\xA0 并以 UTF-8 编码编码到不间断空格，这是 Google 传递的内容。所以在 AppleScript 中，为了替换 UTF-8 中的 Non-Breaking Space，由于 Macintosh 编码，我们必须使用 †( Dagger )。

http://en.wikipedia.org/wiki/Mac_Roman#Codepage_layout

http://en.wikipedia.org/wiki/UTF-8

http://en.wikipedia.org/wiki/C1_Controls_and_Latin-1_Supplement

sed 行还处理了几个特殊的分数符号:
http://tlt.its.psu.edu/suggestions/international/bylanguage/mathchart.html#fractions

这个故事的寓意是，在处理 JSON 时，只需使用一个好的 JSON 解析器。

一个子道德是:不要使用 AppleScript 来处理 JSON。