经过长时间的调试，我发现为什么我的应用程序使用 python 正则表达式很慢。这是我发现的令人惊讶的事情:
import datetime
import re
pattern = re.compile('(.*)sol(.*)')
lst = ["ciao mandi "*10000 + "sol " + "ciao mandi "*10000,
"ciao mandi "*1000 + "sal " + "ciao mandi "*1000]
for s in lst:
print "string len", len(s)
start = datetime.datetime.now()
re.findall(pattern,s)
print "time spent", datetime.datetime.now() - start
print
我机器上的输出是:
string len 220004
time spent 0:00:00.002844
string len 22004
time spent 0:00:05.339580
第一个测试字符串220K长，匹配，匹配速度还挺快的。第二个测试字符串20K长，不匹配，计算耗时5秒!
我知道这个报告http://swtch.com/~rsc/regexp/regexp1.html这说明 python、perl、ruby 中的 regexp 实现有点不理想……这是原因吗？没想到这么简单的一个表达方式都能发生。
已添加 我最初的任务是拆分一个字符串，依次尝试不同的正则表达式。像这样的东西:
for regex in ['(.*)sol(.*)', '\emph{([^{}])*)}(.*)', .... ]:
lst = re.findall(regex, text)
if lst:
assert len(lst) == 1
assert len(lst[0]) == 2
return lst[0]
这是为了解释为什么我不能使用split。按照 Martijn 的建议，我通过将 (.*)sol(.*) 替换为 (.*?)sol(.*) 解决了我的问题。
可能我应该使用 match 而不是 findall...但我认为这不会解决问题，因为正则表达式将匹配整个输入因此 findall 应该在第一次匹配时停止。
无论如何，我的问题更多是关于正则表达式新手陷入这个问题有多容易...我认为理解 (.*?)sol(.*) 并不是那么简单> 是解决方案(例如 (.*?)sol(.*?) 不是)。
最佳答案
Thompson NFA 方法将正则表达式从默认贪婪更改为默认非贪婪。普通的正则表达式引擎可以做同样的事情；只需将 .* 更改为 .*?。当非贪婪表达式可以使用时，你不应该使用贪婪表达式。
有人已经为 Python 构建了一个 NFA 正则表达式解析器:https://github.com/xysun/regex
对于异常情况，它确实优于默认的 Python 正则表达式解析器。 但是，它低于-对其他一切执行:
This regex engine underperforms Python's re module on normal inputs (using Glenn Fowler's test suite -- see below)
以典型案例为代价修复病态案例可能是不使用 NFA 方法作为默认引擎的一个很好的理由，而不是在病态案例可以简单地避免时。
另一个原因是某些功能(例如反向引用)很难或不可能使用 NFA 方法实现。另见 response on the Python Ideas mailing list .
因此，如果您将至少一种模式设为非贪婪模式以避免灾难性回溯，则您的测试可以表现得更好:
pattern = re.compile('(.*?)sol(.*)')
或者根本不使用正则表达式；您可以使用 str.partition() 来获取前缀和后缀:
before, sol, after = s.partition('sol')
例如并非所有的文本问题都是正则表达式形式的，所以放下那把锤子，看看你工具箱的其他部分吧!
此外，您也许可以查看替代的 re 模块，regex .该模块对病理情况进行一些基本检查，并巧妙地避免它们，而不必求助于 Thompson NFA 实现。引用 an entry to a Python bug report tracking regex :
The internal engine no longer interprets a form of bytecode but instead follows a linked set of nodes, and it can work breadth-wise as well as depth-first, which makes it perform much better when faced with one of those 'pathological' regexes.
此引擎可以将您的病理案例运行速度提高 10 万倍以上:
>>> import re, regex
>>> import timeit
>>> p_re = re.compile('(.*)sol(.*)')
>>> p_regex = regex.compile('(.*)sol(.*)')
>>> s = "ciao mandi "*1000 + "sal " + "ciao mandi "*1000
>>> timeit.timeit("p.findall(s)", 'from __main__ import s, p_re as p', number=1)
2.4578459990007104
>>> timeit.timeit("p.findall(s)", 'from __main__ import s, p_regex as p', number=100000)
1.955532732012216
注意数字；我将 re 测试限制为运行 1 次，耗时 2.46 秒，而 regex 测试在 2 秒内运行了 10 万次。
关于python - 为什么 python 正则表达式这么慢？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/26214328/
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。
我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返
在我的应用程序中，我需要能够找到所有数字子字符串，然后扫描每个子字符串，找到第一个匹配范围(例如5到15之间)的子字符串，并将该实例替换为另一个字符串“X”。我的测试字符串s="1foo100bar10gee1"我的初始模式是1个或多个数字的任何字符串，例如，re=Regexp.new(/\d+/)matches=s.scan(re)给出["1","100","10","1"]如果我想用“X”替换第N个匹配项，并且只替换第N个匹配项，我该怎么做？例如，如果我想替换第三个匹配项“10”(匹配项[2])，我不能只说s[matches[2]]="X"因为它做了两次替换“1fooX0barXg
它不等于主线程的binding，这个toplevel作用域是什么？此作用域与主线程中的binding有何不同？>ruby-e'putsTOPLEVEL_BINDING===binding'false 最佳答案 事实是，TOPLEVEL_BINDING始终引用Binding的预定义全局实例，而Kernel#binding创建的新实例>Binding每次封装当前执行上下文。在顶层，它们都包含相同的绑定(bind)，但它们不是同一个对象，您无法使用==或===测试它们的绑定(bind)相等性。putsTOPLEVEL_BINDINGput
我可以得到Infinity和NaNn=9.0/0#=>Infinityn.class#=>Floatm=0/0.0#=>NaNm.class#=>Float但是当我想直接访问Infinity或NaN时:Infinity#=>uninitializedconstantInfinity(NameError)NaN#=>uninitializedconstantNaN(NameError)什么是Infinity和NaN？它们是对象、关键字还是其他东西？ 最佳答案 您看到打印为Infinity和NaN的只是Float类的两个特殊实例的字符串
如果您尝试在Ruby中的nil对象上调用方法，则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而，有一个tryRails中的方法，如果它被发送到一个nil对象，它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常？ 最佳答案 像Ruby中的所有其他对象