php - 如何将带有HTML实体和无效字符的文本转换为其等效的UTF-8？

Question

我之所以更改标题，是因为我不知道是什么特殊的windows字符导致了我的问题，使问题看起来像是重复的。
如何将HTML实体、类型为&35;[0-9]+；和&x[a-fa-f0-9]+；的字符引用、无效字符引用和无效的Windows字符CHR（151）转换为其UTF-8等效字符？
基本上如何清理一些非常糟糕的变量编码文本并将其保存为utf-8？
原题如下
转换&[0-9]+；和&x[a-fa-f0-9]+；对utf-8等价物的引用？
例如

—
—

到
-
就像浏览器一样，但是有了php。
编辑：即使是windows制作但浏览器仍然显示的非标准版本。

Answer 1

用我最后使用的解决方案回答我自己的问题
问题：
我需要将html实体、十进制和十六进制字符引用替换为utf-8等号，就像普通浏览器一样，并将文本转换为utf-8。
问题是，经常有130-150和x82-x9f范围内的引用，正如thirtydot发现的，人们使用ascii文本来处理特殊字符，如emdashes，而php的html实体解码不支持这种字符。
您可能会认为这些无效字符在浏览器中不起作用，但看起来浏览器已经达成了一个无声的、无文档的协议，可以修复这些字符并正确地显示它们。
在尝试修复这些引用时，我还发现实际的字符（如‚）也在使用，这些字符可能是直接从word复制的，并且会导致各种各样的问题，所以我也需要修复它们。
我发现关于编码的大多数答案都没有提到的是，与编码相关的问题的解决方案通常很大程度上取决于所使用的编码。
下面是一个例子：
无效的windows字符‚将与“iso-8859-1”编码文本一起工作，并且invalid windows word characters您应该这样修复它们：

$str = str_replace(chr(151),'--',$str);

它所做的是将windows字符替换为一个安全的ascii选项，但是知道文本将存储在utf-8中，我不想丢失原始字符。
当像这样更改它们时不是一个选项，因为ascii不支持正确的unicode字符：

$str = str_replace(chr(151),chr(8218),$str);

因此，我所做的是首先将字符替换为它的html引用（而$str是“i so-8859-1”编码的：

$str = str_replace(chr(151),'‚'),$str);

然后我改变编码

$str = iconv('ISO-8859-1', 'UTF-8//IGNORE', $str);//convert to UTF-8

最后，我使用我的“html字符参考解码”函数将所有实体和字符引用转换为纯utf-8，该函数主要基于 Josh B mentions as per Jukka Korpelas suggestion Gumbos，它也修复了错误的windows引用，但只使用 &#emdash;来遍历错误的windows字符。

function fix_char_mapping($match){
    if (strtolower($match[1][0]) === "x") {
        $codepoint = intval(substr($match[1], 1), 16);
    } else {
        $codepoint = intval($match[1], 10);
    }
    $mapping = array(8218,402,8222,8230,8224,8225,710,8240,352,8249,338,141,142,143,144,8216,8217,8220,8221,8226,8211,8212,732,8482,353,8250,339,157,158,376); 
    $codepoint = $mapping[$codepoint-130];
    return '&#'.$codepoint.';';
}
function html_character_reference_decode($string, $encoding='UTF-8', $fixMappingBug=true){
    if($fixMappingBug){
        $string = preg_replace_callback('/&#(1[3-5][0-9]|x8[2-9a-f]|x9[0-9a-f]);/i','fix_char_mapping',$string);
    }
    return html_entity_decode($string, ENT_QUOTES, 'UTF-8');
}
header('Content-Type: text; charset=UTF-8');
echo  html_character_reference_decode('dash — and another dash — text ו and more tests נוף ');

因此，如果您的文本是“iso-8859-1”编码的，那么完整的解决方案如下：

<?php
header('Content-Type: text/plain; charset=utf-8');
ini_set("default_charset", 'utf-8');
error_reporting(-1);
$encoding = 'ISO-8859-1';//put encoding here
$str = '&#x9F; &#x9C; bad&#150;string: '.chr(151);//ASCII
if($encoding==='ISO-8859-1'){
//fix bad windows characters
$badchars = array(
'&#130;'=>chr('130'),//',' baseline single quote
'&#131;'=>chr('131'),//'NLG' florin
'&#132;'=>chr('132'),//'"' baseline double quote
'&#133;'=>chr('133'),//'...' ellipsis
'&#134;'=>chr('134'),//'**' dagger (a second footnote)
'&#135;'=>chr('135'),//'***' double dagger (a third footnote)
'&#136;'=>chr('136'),//'^' circumflex accent
'&#137;'=>chr('137'),//'o/oo' permile
'&#138;'=>chr('138'),//'Sh' S Hacek
'&#139;'=>chr('139'),//'<' left single guillemet
'&#140;'=>chr('140'),//'OE' OE ligature
'&#145;'=>chr('145'),//"'" left single quote
'&#146;'=>chr('146'),//"'" right single quote
'&#147;'=>chr('147'),//'"' left double quote
'&#148;'=>chr('148'),//'"' right double quote
'&#149;'=>chr('149'),//'-' bullet
'&#150;'=>chr('150'),//'-' endash
'&#151;'=>chr('151'),//'--' emdash
'&#152;'=>chr('152'),//'~' tilde accent
'&#153;'=>chr('153'),//'(TM)' trademark ligature
'&#154;'=>chr('154'),//'sh' s Hacek
'&#155;'=>chr('155'),//'>' right single guillemet
'&#156;'=>chr('156'),//'oe' oe ligature
'&#159;'=>chr('159'),//'Y' Y Dieresis
);
$str = str_replace(array_values($badchars),array_keys($badchars),$str);
$str = iconv('ISO-8859-1', 'UTF-8//IGNORE', $str);//convert to UTF-8
$str = html_character_reference_decode($str);//fixes bad entities above
echo $str;die;
}

它经过了广泛的测试，看起来很管用。
让我们看看包含错误windows字符的utf-8编码文本的相同情况。
测试是否存在不良字符或“不良格式的utf-8”的一种可靠方法是使用iconv，它很慢，但比在我的测试中使用 solution更可靠：

$cleaned = iconv('UTF-8','UTF-8//IGNORE',$str);
if ($cleaned!==$str){
    //contains bad characters, use cleaned version where the bad characters were stripped
    $str = $cleaned;
}

这几乎是我能想到的最好的方法，因为我没有找到合理的方法来查找和替换utf-8文本中的坏windows字符，让我解释一下原因。
使用具有完全有效的Unicode字符 <?php echo chr(151);?>和错误的Windows Emdash的字符串。
我不知道utf-8字符串中可能存在哪些坏的windows字符，只知道它们可能存在。
使用 chr(151)尝试修复上面的有效emdash字符串中的错误windows字符 preg_replace_callback（右双引号），该字符串甚至不包含任何双引号，这将导致一个scrambed字符，起初我认为 $str = "—".chr(151);可能不是多字节安全的，并尝试使用 str_replace但问题是同样。
php网站和stackoverflow上的评论提到 chr(148)是二进制安全的，并且可以很好地处理格式良好的utf-8文本，这是因为utf-8的设计方式。
为什么会破裂
它认为坏的windows字符 str_replace由以下位“10010100”组成，而
（emdash字符（ preg_match），根据fileformat网站，它由3个字节组成：“11100010:10000000:10010100”
请注意，完全有效的utf-8字符的最后一个字节中的位与坏窗口右双引号中的位匹配，因此 mb_eregi_replace只替换最后一个字节，中断utf-8字符。
这个问题发生在许多unicode字符上，例如会扰乱俄语文本中的许多字符。
这不能发生在ascii文本中，因为每个字符总是由一个字节组成。
所以当你得到一个包含任意多字节字符的utf-8字符串时，你就不能再安全地修复坏的windows字符了，我找到的唯一解决办法就是用iconv把它们去掉。

$str = iconv('UTF-8', 'UTF-8//IGNORE', $str);

我唯一能想到的解决办法
尽管您始终可以将包含一个字节坏字符的有效Unicode字符替换为其编码的对应字符，然后替换坏字符，然后解码好字符，从而保留所有内容：）
这样地：
用如下编码替换 str_replace。
chr(148)
然后用适当的em破折号替换 str_replace
然后将 11100010:10000000:10010100解码回 —
但是你必须写下每一个多字节字符，其中包含的字节与坏字符相匹配，才能实现这一点。
相关： http://www.fileformat.info/info/unicode/char/2014/index.htm