html - 解析HTML的最佳正则表达式是什么(即使您不应该这样做)？有没有一个完美的？

coder 2023-08-08 原文

As it currently stands, this question is not a good fit for our Q&A format. We expect answers to be supported by facts, references, or expertise, but this question will likely solicit debate, arguments, polling, or extended discussion. If you feel that this question can be improved and possibly reopened, visit the help center提供指导。

已关闭8年。

好的，我们都知道尝试使用Regex brings upon the wrath of Cthulhu解析HTML。很好。对于why you shouldn't也有一些不错的回应。我接受这些，并已多次将这些链接发布到问题上。

但是，让我们将这个问题放在以下范围内:除了Regex之外，我们别无选择来解析HTML。为什么？没关系但是暂时假设我们的开发人员希望对小马Tony失去理智，并为解决不可能做最好的尝试。如果这让您大吃一惊，那就假设问题是理论上的。无论您的船浮在水上。只是考虑使用正则表达式解析HTML的想法，即使您不应该这样做。

Here我们认为不可能做到，至少要做到完美。但是@NikiC背后有一个非常明智的评论:

This answer draws the right conclusion ("It's a bad idea to parse HTML with Regex") from wrong arguments ("Because HTML isn't a regular language"). The thing that most people nowadays mean when they say "regex" (PCRE) is well capable not only of parsing context-free grammars (that's trivial actually), but also of context-sensitive grammars (see https://stackoverflow.com/a/7434814/1222420)

事实是，您可以使用现代正则表达式even if rather verbose进行一些功能强大的工作。但是许多人听起来像是“中止问题”:您可以尝试，但是总会有另一种情况无法解决。

所以这是问题，它有点两分。

是否可以生成用于解析HTML的完美正则表达式？

如果是这样，证明是否具有 build 性？我们只知道我们可以做到，还是已经做到了？

如果不可能，那么最准确的是什么？

最佳答案

首先，让我们弄清楚这一点:

正则表达式与HTML解析不兼容，是而不是，是声明。在我之后重复:“没有要求”。

这是科学上的proven和众所周知的事实。更进一步，世界不是在7天之内创造出来的，大脚也不是真实的。讨论完毕。

But let's put this question within the following scope: we have no option other than Regex to parse HTML. Why? It doesn't matter

有趣的是，您写的没关系。给出的“为什么是”实际上是使部分可行或完全不可能的原因。如果这里有一件重要的事情，那就是“为什么是”。

如果“为什么是”是“验证”，则答案是按定义的:不可能。验证要求不少于100％的语言覆盖率。而正则表达式是无上下文语法的子集，因此不能覆盖100％。根据定义。

如果“为什么是”是“提取”，那么使用正则表达式可以获得相当不错的结果。永远不会100％可靠，但在大多数情况下都足够好。

Truth is, you can do some incredibly powerful things with modern regex, even if rather verbose.

这种模式的绝对长度，冗余性和复杂性表明，尽管可能无法在正则表达式中描述有效的电子邮件地址，但它至少是不成比例的困难，并且实际上更像是蛮力的字典列表，而不是纯净的语法。而当我们这样做时:日期字符串验证就更糟了。Le年才刚开始。

要将“验证”和“提取”之间的区别放到透视图中:

要验证一个简单的电子邮件地址，需要一个具有6400+个字符的正则表达式。

要从电子邮件地址中“提取”域名，但是简单的@([^\s]+)或(?<=@)[^\s]+将覆盖100％(如果不完全)。假设该字符串是隔离的，并且已知为有效的电子邮件地址。

Is it possible to generate a perfect regular expression for parsing HTML?

您基本上可以通过写“perfect”(完美)自己回答这个问题:不。

If so, is the proof constructive? Do we only know we can, or has it been done?

这不是关于“仅仅是没有人设法做到这一点吗？”但更多关于“这在数学上已被证明是不可能的!”。优质教育

If it is not possible, what is the most accurate one out there?

鉴于按照定义，这是不可能的，对此的唯一正确答案将是“无”。

用于解析所有(或尽可能多的)HTML的正则表达式的最佳近似沿x|y|z|…沿x，y，z的方向是一个无限长的正则表达式模式，…是所有(强行使用)语法的可能产生形式无限长的逻辑或中链接在一起的HTML代码。它将是适当的正则表达式(即使是最正则表达式的术语)，涵盖了HTML的所有(它列出并因此匹配了所有可能的字符串)，理论上仅是可能的(或至少可行，只是(例如图灵机)和实际上完全没用的。

正则表达式可以描述类型3的乔姆斯基语言(常规语言)，而HTML(以及大多数其他编程/标记语言)是类型2乔姆斯基语言(上下文无关的)。 常规语言是上下文无关语言的子集。 类型为-n 的语法始终可以覆盖类型为(n-x)的语言的子集，但是永远不会涵盖其所有。因此，正则表达式只能描述HTML的子集。大脚怪是有要求的。这是事实。

严格地向左或向右扩展正则表达式不了解平衡或嵌套(“S→aSa”或混合线性“S→aA，A→Sb，S→ε”)。因此，您无法解析HTML。

“S→aSa”(平衡嵌套)的快速示例:

<div>
    <div>
        ...
    <div>
<div>

是的，HTML/XML的核心是与正则表达式不兼容的。首先是该死的坏位置，不是吗？通过正则表达式进行的HTML解析实际上是烂在其核心。被设计打破。保证会失败。

对于“S→aA，A→Sb，S→ε”(计数):

无法验证每行<td>的正确(匹配)数目:

<table>
    <tr>
        <td>1</td>
        <td>2</td>
        <td>3</td>
        <td>4</td>
    </tr>
    <tr>
        <td>1</td>
        <td>2</td>
        <td>3</td>
        <td>4</td>
    </tr>
</table>

要记住的另一件事是:一旦您减小了对语言“X”的识别范围，就不再能识别语言“X”，而是一种新的且自包含的子集语言“Y”。

在语言领域，它要么全部要么一无所有。两者之间没有。

现在对那些说PCRE可以做到的人!:是的，那就是所谓的上下文无关文法。

…通过它不仅不再是正则表达式，从而使测试失败:

we have no option other than Regex

但是仍然是用开头的错误工具。有专门用于此类任务的解析器。使用它们。

与电子邮件匹配的正则表达式(由OP链接)是一场噩梦，更不用说维护:

(?:(?:\r\n)?[ \t])*(?:(?:(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(
?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]
|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)
?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t]) ... (6400+ chars)

以下是适当的无上下文语法形式的非常相同的规范的摘录:

 address     =  mailbox                      ; one addressee
             /  group                        ; named list
 group       =  phrase ":" [#mailbox] ";"
 mailbox     =  addr-spec                    ; simple address
             /  phrase route-addr            ; name & addr-spec
 route-addr  =  "<" [route] addr-spec ">"
 route       =  1#("@" domain) ":"           ; path-relative
 addr-spec   =  local-part "@" domain        ; global address
 local-part  =  word *("." word)             ; uninterpreted
                                             ; case-preserved
 domain      =  sub-domain *("." sub-domain)
 sub-domain  =  domain-ref / domain-literal
 domain-ref  =  atom                         ; symbolic reference

有些人在遇到HTML时会认为“我知道，我会使用正则表达式”。
现在，他们有两个度量标准的问题。

所以告诉我。为什么在地球上，即使决定使用甚至走走，真的会有人走得更远吗？

关于html - 解析HTML的最佳正则表达式是什么(即使您不应该这样做)？有没有一个完美的？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/12062315/

上一篇：php - <select> 下拉默认值

下一篇：CSS - 使 SPAN 延伸到其容器的末端/填充空白区域？

相关文章：

显示和隐藏 div 的 javascript 函数

javascript - 为什么此正则表达式模式未传递exec方法？

javascript - 字母数字和一些特殊字符的正则表达式

python - 如何抓取单元格值具有相同类名的网站表？

java - 可以使用 xpath 获取 html anchor 标记的值吗？

jquery - 使用jQuery访问Ajax HTML响应的元素

html - Bootstrap输入溢出模态对话框

html - iphone 向下滚动带有水平滚动元素的页面

javascript - 如何避免 HTML 代码的冗余——不希望多个 html 文件使用相同的代码

regex - Notepad++ 删除以特定字符结尾的行

即使 html strong br section regex html-parsing theory

有关html - 解析HTML的最佳正则表达式是什么(即使您不应该这样做)？有没有一个完美的？的更多相关文章

Ruby 解析字符串 - 2
我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么？我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等，你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算，还是有更好的方法？也许为此目的准备了一个开箱即用的库？
ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2
类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc
ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2
很好奇，就使用rubyonrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？最佳答案不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提
ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2
我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？最佳答案通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co
ruby - 使用 ruby 将 HTML 转换为纯文本并维护结构/格式 - 2
我想将html转换为纯文本。不过，我不想只删除标签，我想智能地保留尽可能多的格式。为插入换行符标签，检测段落并格式化它们等。输入非常简单，通常是格式良好的html(不是整个文档，只是一堆内容，通常没有anchor或图像)。我可以将几个正则表达式放在一起，让我达到80%，但我认为可能有一些现有的解决方案更智能。最佳答案首先，不要尝试为此使用正则表达式。很有可能你会想出一个脆弱/脆弱的解决方案，它会随着HTML的变化而崩溃，或者很难管理和维护。您可以使用Nokogiri快速解析HTML并提取文本:require'nokogiri'h
ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby 中生成它们？ - 2
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
ruby - 难道Lua没有和Ruby的method_missing相媲美的东西吗？ - 2
我好像记得Lua有类似Ruby的method_missing的东西。还是我记错了？最佳答案表的metatable的__index和__newindex可以用于与Ruby的method_missing相同的效果。关于ruby-难道Lua没有和Ruby的method_missing相媲美的东西吗？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/7732154/
ruby - 用逗号、双引号和编码解析 csv - 2
我正在使用ruby1.9解析以下带有MacRoman字符的csv文件#encoding:ISO-8859-1#csv_parse.csvName,main-dialogue"Marceu","Giveittohimóhe,hiswife."我做了以下解析。require'csv'input_string=File.read("../csv_parse.rb").force_encoding("ISO-8859-1").encode("UTF-8")#=>"Name,main-dialogue\r\n\"Marceu\",\"Giveittohim\x97he,hiswife.\"\
ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996？但是 4.2%2==0.2 - 2
为什么4.1%2返回0.0999999999999996？但是4.2%2==0.2。最佳答案参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意，这不是与Ruby相关的问题，而是与所有编程语言相关的问题，因为它来自计算机表示实数的方式。关于ruby-为什么4.1%2使用Ruby返

html - 解析HTML的最佳正则表达式是什么(即使您不应该这样做)？有没有一个完美的？

有关html - 解析HTML的最佳正则表达式是什么(即使您不应该这样做)？有没有一个完美的？的更多相关文章

随机推荐