我构建了用于分析源代码的工具。此类工具必须正确读取源代码文件,尤其是在字符编码方面。例如,“字符串文字中精确的字节字符串是什么?” (PHP文字和HTML文本)。
我的错误理解可能是PHP源文件仅是8位字符(也就是说,PHP引擎以[正确]的方式读取它们,因为它们只应包含8位字符)。但是,八位字符采用哪种编码? (我想匹配ISO-8859-1(-x?)[有人可以引用章节和经文吗?]。也就是说,变音符号的目的是变音符号,对吗?接下来,可以用HTML编写PHP脚本了。以及大多数欧洲国家/地区的字符集。
但是很显然,这对于Unicode是有问题的。据我所知,大多数PHP应用程序本质上都是通过处理包含UTF-8字节序列的字符串来处理Unicode的,这些字符串可以插入8位PHP字符串中。然后,如果您告诉服务器正在生成UTF-8文本,则可以生成HTML包含Unicode UTF-8序列的脚本。
对于上述情况,可以将PHP文件读取为8位字 rune 本,在我看来,这与该语言相匹配。
让我感到困惑的是,PHP源文件编码为UTF-8(Joomla程序包中包含约1800个源文件,
其中有10个是UTF-8,其余则不是)。在UTF-8渲染中正确显示的所有(非ASCII)欧洲字符实际上都编码为多字节序列。我想这类用作UTF-8的页面将正确呈现HTML。但是,显然不能在文本编辑器中正确呈现的欧洲字符或其他Unicode字符的任何字符串比较都将无法进行。字符串文字将不包含它们似乎包含的内容。程序员是否使用UTF-8文件,因为这正是编辑器提供的?他们是故意这样做吗?还是只是事故对大多数工作都没有关系?
那么,应该如何阅读一个PHP源文件? (特别是用什么字符编码?)一个可能的答案是,始终使用ISO-8859-1 8位代码,而不考虑实际的内容或BOM(我看到很多带有UTF-8 BOM标记的PHP文件)。另一个答案是UTF-8(如果已标记)。
[我们的工具读写任意编码。 “简单”工具是一个文件中的字符读取编码,用另一种编码方式写入相同的代码点。以这种方式读取UTF-8 PHP文件会使我们陷入写ISO8859-1等效文件的麻烦,因为许多UTF-8代码点(例如欧元符号)无法用ISO8859-x编码。]
编辑8月30日:现在,我们检查PHP文件,以查看是否具有UTF-8 BOM或看起来具有合法的UTF-8序列。在这两种情况下,我们都将文件读取为UTF-8。否则,我们默认将其读取为ISO8859-1。现在,如果我们对其进行修改,我们将保留文件编码。 (正确处理所有这些工作)。这似乎是一个安全的策略,但是可能与PHP程序员所期望的有所不同。
最佳答案
TL; DR
ASCII码
在PHP 5.4之前,PHP解释器根本不关心PHP文件的字符集,事实表明zend.script_encoding ini directive仅出现在该版本中。基本上总是将其视为ASCII。
例如,当PHP需要标识一个函数名称时,恰好包含超出ASCII-7bit的字符(好吧,任何带有任何标签的带标签的实体,但是您明白我的意思……),它只是在其中寻找一个函数。具有相同字节序列的符号表-以一种方式编写的变音符号(或其他形式)与以另一种方式编写的变音符号将被区别对待。尝试一下。为了向后兼容,如果未设置zend.script_encoding,这仍然是默认行为。还要注意the regex showing what is a valid identifier,您可以看到它是字符集中立的(好吧...除了拉丁字母(在ASCII-7bit范围内),而是显示字节。
这也将我们引到declare(encoding)构造。如果您在文件中看到THAT,那就是该特定文件应遵循的确定字符集(仅)。使用其他东西,直到遇到一个,如果看到不止一个,则在声明语句之后兑现第二个。
如果没有...
在静态上下文中(即,当您不知道有效的ini设置时),当字符集很重要时,您需要回退到其他内容(理想情况下,是用户定义的内容),否则,请仅处理ASCII-7bit以上的字符作为纯二进制文件,并以类似统一代码点的方式显示它们。
在动态环境中(例如,如果您可以暂时重命名文件,请在该位置使用该名称创建一个临时文件;使其回显zend.script_encoding的值;恢复正常文件),则应使用zend.script_encoding值(如果可用),否则回退到其他值(就像在静态上下文中一样)。
相同的处理方式适用于字符串,HTML片段和PHP文件的任何其他内容-它只是作为二进制字符串读取,但对PHP词法分析器很重要的某些ASCII字符(即字节)除外,例如序列“<?php>?php>
边缘案例(在评论中要求):
1。
Is there a restriction on what encoding are allowed?
How does "declare(encoding)" work if the source file is UTF-16 (null 8 bit bytes between 8 bit ascii chars for the declaration)?
If the .ini or the file setting is UTF-8 or otherwise, then identifiers are presumably taken only from code points in range x41-xFF, but not from code points x100 up?
For UTF encodings, are characters in strings represented as their UTF code point (that makes no sense since PHP strings seem only have 8 bit characters)?
If not, what does it mean to set the encoding to UTF something?
关于UTF-8文件中的PHP源代码;如何正确解释?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/17872046/
我正在学习如何使用Nokogiri,根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div
总的来说,我对ruby还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用
我有一个Ruby程序,它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重,我想提高压缩级别,因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗?是否有另一个允许指定压缩级别的Ruby库? 最佳答案 这是我通过查看rubyzip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d
我试图在一个项目中使用rake,如果我把所有东西都放到Rakefile中,它会很大并且很难读取/找到东西,所以我试着将每个命名空间放在lib/rake中它自己的文件中,我添加了这个到我的rake文件的顶部:Dir['#{File.dirname(__FILE__)}/lib/rake/*.rake'].map{|f|requiref}它加载文件没问题,但没有任务。我现在只有一个.rake文件作为测试,名为“servers.rake”,它看起来像这样:namespace:serverdotask:testdoputs"test"endend所以当我运行rakeserver:testid时
我的目标是转换表单输入,例如“100兆字节”或“1GB”,并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前,我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效,但前提是输入是倍数(“gigabytes”,而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以,功能正常,
作为我的Rails应用程序的一部分,我编写了一个小导入程序,它从我们的LDAP系统中吸取数据并将其塞入一个用户表中。不幸的是,与LDAP相关的代码在遍历我们的32K用户时泄漏了大量内存,我一直无法弄清楚如何解决这个问题。这个问题似乎在某种程度上与LDAP库有关,因为当我删除对LDAP内容的调用时,内存使用情况会很好地稳定下来。此外,不断增加的对象是Net::BER::BerIdentifiedString和Net::BER::BerIdentifiedArray,它们都是LDAP库的一部分。当我运行导入时,内存使用量最终达到超过1GB的峰值。如果问题存在,我需要找到一些方法来更正我的代
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。
Rails2.3可以选择随时使用RouteSet#add_configuration_file添加更多路由。是否可以在Rails3项目中做同样的事情? 最佳答案 在config/application.rb中:config.paths.config.routes在Rails3.2(也可能是Rails3.1)中,使用:config.paths["config/routes"] 关于ruby-on-rails-Rails3中的多个路由文件,我们在StackOverflow上找到一个类似的问题
给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息? 最佳答案 在Rails3中,update_all不返回任何有意义的信息,除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru
我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t