草庐IT

Php 找不到拆分 utf-8 字符串的方法

coder 2024-04-13 原文

我刚开始接触 php，恐怕我需要一些帮助来弄清楚如何操作 utf-8 字符串。

我正在使用 ubuntu 11.10 x86，php 版本 5.3.6-13ubuntu3.2。我有一个 utf-8 编码的文件(vim :set encoding 确认了这一点)，然后我继续阅读它使用

$file = fopen("file.txt", "r");
while(!feof($file)){
    $line = fgets($file);
    //...
}
fclose($file);
  • 使用mb_detect_encoding($line)报告 UTF-8
  • 如果我这样做echo $line我可以在浏览器中正确看到该行(没有损坏的字符)
    • 所以我想浏览器和 Apache 一切都很好。虽然我确实在我的 apache 配置中搜索了 AddDefaultCharset并尝试为字符编码添加 http 元标记(以防万一)

当我尝试使用 $arr = mb_split(';',$line) 拆分字符串时结果数组的字段包含损坏的 utf-8 字符(mb_detect_encoding($arr[0]) 也报告为 utf-8)。

所以 echo $arr[0]将导致类似这样的结果:ΑΘΗÎÎ .

我试过设置 mb_detect_order('utf-8') , mb_internal_encoding('utf-8') ，但没有任何改变。我还尝试使用 this w3 perl regex 手动检测 utf-8因为我在某处读到 mb_detect_encoding 有时会失败(神话？)，但结果也一样。

所以我的问题是如何正确拆分字符串？正在下降 mb_路径错误？我错过了什么？

感谢您的帮助!

更新:我正在添加示例字符串和 base64 等价物(感谢@chris 的建议)

1. original string: "ΑΘΗΝΑ;ΑΙΓΑΛΕΩ;12242;37.99452;23.6889"
2. base64 encoded: "zpHOmM6Xzp3OkTvOkc6ZzpPOkc6bzpXOqTsxMjI0MjszNy45OTQ1MjsyMy42ODg5"
3. first part (the equivalent of "ΑΘΗΝΑ") base64 encoded before splitting: "zpHOmM6Xzp3OkQ=="
4. first part ($arr[0] after splitting): "ΑΘΗÎΑ"
5. first part after splitting base64 encoded: "77u/zpHOmM6Xzp3OkQ=="

好的，所以在这样做之后似乎有一个 77u/ 3. 和 5. 之间的区别 according to this是 utf-8 BOM 标记。那么我该如何避免呢？

更新 2:我今天醒来神清气爽，考虑到您的建议，我又试了一次。似乎$line=fgets($file)正确读取第一行(没有损坏的字符)，并在随后的每一行中失败。那么我base64_encoded第一行和第二行，以及 77u/ bom 出现在base64 字符串仅第一行。然后我在 vim 中打开有问题的文件，并输入 :set nobomb :w保存没有 bom 的文件。再次启动 php 显示第一行现在也被破坏了。基于@hakre 的 remove_utf8_bom我添加了它的补充功能

function add_utf8_bom($str){
    $bom= "\xEF\xBB\xBF";
    return substr($str,0,3)===$bom?$str:$bom.$str;
}

瞧现在每一行都被正确读取了。

我不太喜欢这个解决方案，因为它看起来非常非常 hackish(我不敢相信整个框架/语言都没有提供处理 nobombed 字符串的方法)。那么你知道另一种方法吗？否则，我将继续执行上述操作。

感谢@chris、@hakre 和@jacob 抽出宝贵时间!

更新 3(解决方案):事实证明这毕竟是浏览器的问题:添加 header('Content-type: text/html; charset=UTF-8') 是不够的和像 <meta http-equiv="Content-type" value="text/html; charset=UTF-8" /> 这样的元标签.它还必须正确地封闭在 <html><body> 中。部分或浏览器将无法正确理解编码。感谢@jake 的建议。

故事的寓意:在尝试为浏览器编写代码之前，我应该更多地了解 html。感谢大家的帮助和耐心等待。

最佳答案

UTF-8 具有与 ASCII 兼容的非常好的特性。我的意思是:

  • ASCII 字符在编码为 UTF-8 时保持不变
  • 不会将其他字符编码为 ASCII 字符

这意味着当您尝试用分号字符 ; 拆分 UTF-8 字符串时，这是一个 ASCII 字符，您可以只使用标准的单字节字符串函数。

在您的示例中，您可以只使用 explode(';',$utf8encodedText) 一切都应该按预期工作。

PS:由于UTF-8编码是prefix-free ，您实际上可以将 explode() 与任何 UTF-8 编码的分隔符一起使用。

PPS:您似乎在尝试解析 CSV 文件。看看 fgetcsv()功能。只要您使用 ASCII 字符作为分隔符、引号等，它就应该可以完美地处理 UTF-8 编码的字符串。

关于Php 找不到拆分 utf-8 字符串的方法，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/8369579/

utf-8Phpcodemultibytembstring

有关Php 找不到拆分 utf-8 字符串的方法的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法？ - 2

    总的来说，我对ruby​​还比较陌生，我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础，我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. Ruby 解析字符串 - 2

    我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么？我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等，你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算，还是有更好的方法？也许为此目的准备了一个开箱即用的库？

  3. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入，例如“100兆字节”或“1GB”，并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前，我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效，但前提是输入是倍数(“gigabytes”，而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以，功能正常，

  4. ruby-on-rails - unicode 字符串的长度 - 2

    在我的Rails(2.3，Ruby1.8.7)应用程序中，我需要将字符串截断到一定长度。该字符串是unicode，在控制台中运行测试时，例如'א'.length，我意识到返回了双倍长度。我想要一个与编码无关的长度，以便对unicode字符串或latin1编码字符串进行相同的截断。我已经了解了Ruby的大部分unicode资料，但仍然有些一头雾水。应该如何解决这个问题？ 最佳答案 Rails有一个返回多字节字符的mb_chars方法。试试unicode_string.mb_chars.slice(0,50)

  5. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序，我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

  6. ruby-on-rails - Rails 常用字符串(用于通知和错误信息等) - 2

    大约一年前，我决定确保每个包含非唯一文本的Flash通知都将从模块中的方法中获取文本。我这样做的最初原因是为了避免一遍又一遍地输入相同的字符串。如果我想更改措辞，我可以在一个地方轻松完成，而且一遍又一遍地重复同一件事而出现拼写错误的可能性也会降低。我最终得到的是这样的:moduleMessagesdefformat_error_messages(errors)errors.map{|attribute,message|"Error:#{attribute.to_s.titleize}#{message}."}enddeferror_message_could_not_find(obje

  7. ruby - 如何以所有可能的方式将字符串拆分为长度最多为 3 的连续子字符串？ - 2

    我试图获取一个长度在1到10之间的字符串，并输出将字符串分解为大小为1、2或3的连续子字符串的所有可能方式。例如:输入:123456将整数分割成单个字符，然后继续查找组合。该代码将返回以下所有数组。[1,2,3,4,5,6][12,3,4,5,6][1,23,4,5,6][1,2,34,5,6][1,2,3,45,6][1,2,3,4,56][12,34,5,6][12,3,45,6][12,3,4,56][1,23,45,6][1,2,34,56][1,23,4,56][12,34,56][123,4,5,6][1,234,5,6][1,2,345,6][1,2,3,456][123

  8. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们？ - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  9. ruby - 如何使用文字标量样式在 YAML 中转储字符串？ - 2

    我有一大串格式化数据(例如JSON)，我想使用Psychinruby​​同时保留格式转储到YAML。基本上，我希望JSON使用literalstyle出现在YAML中:---json:|{"page":1,"results":["item","another"],"total_pages":0}但是，当我使用YAML.dump时，它不使用文字样式。我得到这样的东西:---json:!"{\n\"page\":1,\n\"results\":[\n\"item\",\"another\"\n],\n\"total_pages\":0\n}\n"我如何告诉Psych以想要的样式转储标量？解

  10. ruby 正则表达式 - 如何替换字符串中匹配项的第 n 个实例 - 2

    在我的应用程序中，我需要能够找到所有数字子字符串，然后扫描每个子字符串，找到第一个匹配范围(例如5到15之间)的子字符串，并将该实例替换为另一个字符串“X”。我的测试字符串s="1foo100bar10gee1"我的初始模式是1个或多个数字的任何字符串，例如，re=Regexp.new(/\d+/)matches=s.scan(re)给出["1","100","10","1"]如果我想用“X”替换第N个匹配项，并且只替换第N个匹配项，我该怎么做？例如，如果我想替换第三个匹配项“10”(匹配项[2])，我不能只说s[matches[2]]="X"因为它做了两次替换“1fooX0barXg

随机推荐