我之所以更改标题，是因为我不知道是什么特殊的windows字符导致了我的问题，使问题看起来像是重复的。
如何将HTML实体、类型为&35;[0-9]+；和&x[a-fa-f0-9]+；的字符引用、无效字符引用和无效的Windows字符CHR（151）转换为其UTF-8等效字符？
基本上如何清理一些非常糟糕的变量编码文本并将其保存为utf-8？
原题如下
转换&[0-9]+；和&x[a-fa-f0-9]+；对utf-8等价物的引用？
例如

—
—

最佳答案

用我最后使用的解决方案回答我自己的问题
问题：
我需要将html实体、十进制和十六进制字符引用替换为utf-8等号，就像普通浏览器一样，并将文本转换为utf-8。
问题是，经常有130-150和x82-x9f范围内的引用，正如thirtydot发现的，人们使用ascii文本来处理特殊字符，如emdashes，而php的html实体解码不支持这种字符。
您可能会认为这些无效字符在浏览器中不起作用，但看起来浏览器已经达成了一个无声的、无文档的协议，可以修复这些字符并正确地显示它们。
在尝试修复这些引用时，我还发现实际的字符（如‚）也在使用，这些字符可能是直接从word复制的，并且会导致各种各样的问题，所以我也需要修复它们。
我发现关于编码的大多数答案都没有提到的是，与编码相关的问题的解决方案通常很大程度上取决于所使用的编码。
下面是一个例子：
无效的windows字符‚将与“iso-8859-1”编码文本一起工作，并且invalid windows word characters您应该这样修复它们：

$str = str_replace(chr(151),'--',$str);

$str = str_replace(chr(151),chr(8218),$str);

$str = str_replace(chr(151),'‚'),$str);

$str = iconv('ISO-8859-1', 'UTF-8//IGNORE', $str);//convert to UTF-8

function fix_char_mapping($match){
    if (strtolower($match[1][0]) === "x") {
        $codepoint = intval(substr($match[1], 1), 16);
    } else {
        $codepoint = intval($match[1], 10);
    }
    $mapping = array(8218,402,8222,8230,8224,8225,710,8240,352,8249,338,141,142,143,144,8216,8217,8220,8221,8226,8211,8212,732,8482,353,8250,339,157,158,376); 
    $codepoint = $mapping[$codepoint-130];
    return '&#'.$codepoint.';';
}
function html_character_reference_decode($string, $encoding='UTF-8', $fixMappingBug=true){
    if($fixMappingBug){
        $string = preg_replace_callback('/&#(1[3-5][0-9]|x8[2-9a-f]|x9[0-9a-f]);/i','fix_char_mapping',$string);
    }
    return html_entity_decode($string, ENT_QUOTES, 'UTF-8');
}
header('Content-Type: text; charset=UTF-8');
echo  html_character_reference_decode('dash — and another dash — text ו and more tests נוף ');

<?php
header('Content-Type: text/plain; charset=utf-8');
ini_set("default_charset", 'utf-8');
error_reporting(-1);
$encoding = 'ISO-8859-1';//put encoding here
$str = '&#x9F; &#x9C; bad&#150;string: '.chr(151);//ASCII
if($encoding==='ISO-8859-1'){
//fix bad windows characters
$badchars = array(
'&#130;'=>chr('130'),//',' baseline single quote
'&#131;'=>chr('131'),//'NLG' florin
'&#132;'=>chr('132'),//'"' baseline double quote
'&#133;'=>chr('133'),//'...' ellipsis
'&#134;'=>chr('134'),//'**' dagger (a second footnote)
'&#135;'=>chr('135'),//'***' double dagger (a third footnote)
'&#136;'=>chr('136'),//'^' circumflex accent
'&#137;'=>chr('137'),//'o/oo' permile
'&#138;'=>chr('138'),//'Sh' S Hacek
'&#139;'=>chr('139'),//'<' left single guillemet
'&#140;'=>chr('140'),//'OE' OE ligature
'&#145;'=>chr('145'),//"'" left single quote
'&#146;'=>chr('146'),//"'" right single quote
'&#147;'=>chr('147'),//'"' left double quote
'&#148;'=>chr('148'),//'"' right double quote
'&#149;'=>chr('149'),//'-' bullet
'&#150;'=>chr('150'),//'-' endash
'&#151;'=>chr('151'),//'--' emdash
'&#152;'=>chr('152'),//'~' tilde accent
'&#153;'=>chr('153'),//'(TM)' trademark ligature
'&#154;'=>chr('154'),//'sh' s Hacek
'&#155;'=>chr('155'),//'>' right single guillemet
'&#156;'=>chr('156'),//'oe' oe ligature
'&#159;'=>chr('159'),//'Y' Y Dieresis
);
$str = str_replace(array_values($badchars),array_keys($badchars),$str);
$str = iconv('ISO-8859-1', 'UTF-8//IGNORE', $str);//convert to UTF-8
$str = html_character_reference_decode($str);//fixes bad entities above
echo $str;die;
}

$cleaned = iconv('UTF-8','UTF-8//IGNORE',$str);
if ($cleaned!==$str){
    //contains bad characters, use cleaned version where the bad characters were stripped
    $str = $cleaned;
}

$str = iconv('UTF-8', 'UTF-8//IGNORE', $str);

关于php - 如何将带有HTML实体和无效字符的文本转换为其等效的UTF-8？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/9210473/