草庐IT

python - 为什么 python 2's re module can' t 识别 u'®' 字符

coder 2024-06-17 原文

我得到一个字符串,我想在 Python2 中re.sub 这个字符串,所以我尝试了下面的语句,它起作用了

>>> import re
>>> re.sub(u"[™®]", "", u"a™b®c")
'abc'

但是当我尝试以下语句时,它在 Windows 10 (Python 2.7.15 |Anaconda, Inc.| (default, May 1 2018, 18:37:09) [MSC v.1500 64 bit ( AMD64)] 在 win32 上)。

>>> re.sub(ur"[\u2122\u00ae]", "", u"a™b®c")
u'a?b?c'

我已经尝试了 Python and regular expression with Unicode 中的解决方案, 但它也不起作用。

>>> myre = re.compile(ur'[\u2122\u00ae]', re.UNICODE)
>>> print myre.sub('', u"a™b®c")

那么为什么会发生这种情况,我该如何解决?

最佳答案

这里有两个问题。


首先,原始字符串文字的全部意义在于它们不会将反斜杠转义视为反斜杠转义。所以,ur[\u2122\u00ae]" 字面意思是字符 [, \, u, 2, 1

在 Python 3 中,这很好,因为 re 模块将 \u 转义理解为 Unicode 字符,所以模式最终成为带有 的字符类U+2122U+00AE 在里面,完全是你想要的。但在 Python 2 中,它不是,所以字符类最终变成了一堆无用的垃圾。

如果您将其更改为使用非原始字符串文字,这将解决该问题:u"[\u2122\u00ae]"。当然,这会带来所有其他潜在问题,使人们首先想在正则表达式中使用原始字符串文字 — 但幸运的是,这里没有任何问题。


第二个问题是您在没有编码声明的情况下在 Unicode 文字中使用 Unicode 字符。同样,在 Python 3 中不是问题,但在 Python 2 中是问题。

当您键入 "a™b®c" 时,很有可能您实际上给 Python 的不是 \u2122 字符,而是 \u0099 字符。您的控制台可能位于类似 cp1252 的位置,因此当您键入或粘贴 时,它实际为 Python 提供的是 U+0099,而不是 U+2122。当然,您的控制台也显示不正确,因此 U+0099 最终看起来像一个 。但是 Python 不知道发生了什么。它只是看到 U+0099 与 U+2122 不是同一个字符,因此没有匹配项。 (您的第一个示例有效,因为您的搜索字符串 also 具有不正确的 \u0099,所以它恰好匹配。)

在源代码中,您可以通过添加编码声明来告诉 Python 您正在使用 cp1252,或者告诉您的编辑器首先使用 UTF-8 而不是 cp1252 来解决此问题。但是在交互式解释器中,您可以获得控制台想要的任何编码,并且没有地方可以放置编码声明。

真的,对此没有好的解决方案。

好吧,有:升级到 Python 3。它存在的主要原因首先是让 Unicode 像这样令人头疼的问题消失,而 Python 2 离生命周期结束还有不到一年半的时间,所以这样做您今天真的想学习如何解决 Python 2 中令人头疼的 Unicode 问题吗?

您还可以获得一个 UTF-8 终端(以及 Python 可以识别的终端)。这在 macOS 或最新的 Linux 发行版上是自动的;在 Windows 上,这要困难得多,而且可能不是您想要的方式。

因此,唯一的选择就是永远不要在交互式解释器的 Unicode 文字中使用 Unicode 字符。同样,您可以在源代码中使用它们,但以交互方式,您必须:

  • 使用反斜杠转义。
  • 使用非 Unicode 文字并在所有地方仔细解码。

我不确定 "a™b®c".decode('cp1252') 是否真的比 \u 转义更好,但它会起作用。

关于python - 为什么 python 2's re module can' t 识别 u'®' 字符,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51576863/

有关python - 为什么 python 2's re module can' t 识别 u'®' 字符的更多相关文章

  1. ruby - 如何从 ruby​​ 中的字符串运行任意对象方法? - 2

    总的来说,我对ruby​​还比较陌生,我正在为我正在创建的对象编写一些rspec测试用例。许多测试用例都非常基础,我只是想确保正确填充和返回值。我想知道是否有办法使用循环结构来执行此操作。不必为我要测试的每个方法都设置一个assertEquals。例如:describeitem,"TestingtheItem"doit"willhaveanullvaluetostart"doitem=Item.new#HereIcoulddotheitem.name.shouldbe_nil#thenIcoulddoitem.category.shouldbe_nilendend但我想要一些方法来使用

  2. Ruby 解析字符串 - 2

    我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么?我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等,你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算,还是有更好的方法?也许为此目的准备了一个开箱即用的库?

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法? - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 在 Rails 中将文件大小字符串转换为等效千字节 - 2

    我的目标是转换表单输入,例如“100兆字节”或“1GB”,并将其转换为我可以存储在数据库中的文件大小(以千字节为单位)。目前,我有这个:defquota_convert@regex=/([0-9]+)(.*)s/@sizes=%w{kilobytemegabytegigabyte}m=self.quota.match(@regex)if@sizes.include?m[2]eval("self.quota=#{m[1]}.#{m[2]}")endend这有效,但前提是输入是倍数(“gigabytes”,而不是“gigabyte”)并且由于使用了eval看起来疯狂不安全。所以,功能正常,

  5. ruby-on-rails - unicode 字符串的长度 - 2

    在我的Rails(2.3,Ruby1.8.7)应用程序中,我需要将字符串截断到一定长度。该字符串是unicode,在控制台中运行测试时,例如'א'.length,我意识到返回了双倍长度。我想要一个与编码无关的长度,以便对unicode字符串或latin1编码字符串进行相同的截断。我已经了解了Ruby的大部分unicode资料,但仍然有些一头雾水。应该如何解决这个问题? 最佳答案 Rails有一个返回多字节字符的mb_chars方法。试试unicode_string.mb_chars.slice(0,50)

  6. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声? - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题?更新问题,以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点?我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等),但我确实想创建一个输出文件。

  7. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身,new.html.erb,有代码:当我运行rspec时,它失败了:1)messages/new.html.erbshou

  8. ruby-on-rails - Rails - 子类化模型的设计模式是什么? - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值,我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式?如果方法中没有大的if-else语句,这是如何干净利落地完成的? 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.co

  9. ruby-on-rails - 'compass watch' 是如何工作的/它是如何与 rails 一起使用的 - 2

    我在我的项目目录中完成了compasscreate.和compassinitrails。几个问题:我已将我的.sass文件放在public/stylesheets中。这是放置它们的正确位置吗?当我运行compasswatch时,它不会自动编译这些.sass文件。我必须手动指定文件:compasswatchpublic/stylesheets/myfile.sass等。如何让它自动运行?文件ie.css、print.css和screen.css已放在stylesheets/compiled。如何在编译后不让它们重新出现的情况下删除它们?我自己编译的.sass文件编译成compiled/t

  10. ruby - 将差异补丁应用于字符串/文件 - 2

    对于具有离线功能的智能手机应用程序,我正在为Xml文件创建单向文本同步。我希望我的服务器将增量/差异(例如GNU差异补丁)发送到目标设备。这是计划:Time=0Server:hasversion_1ofXmlfile(~800kiB)Client:hasversion_1ofXmlfile(~800kiB)Time=1Server:hasversion_1andversion_2ofXmlfile(each~800kiB)computesdeltaoftheseversions(=patch)(~10kiB)sendspatchtoClient(~10kiBtransferred)Cl

随机推荐