草庐IT

c++ - 编译器 : limitation of lexical analysis

coder 2024-02-17 原文

在经典的编译器理论中，前两个阶段是词法分析和语法分析。他们正在筹备中。词法分析将标记识别为解析的输入。

但是我遇到了一些在词法分析中很难被正确识别的情况。例如下面关于C++模板的代码:

map<int, vector<int>>

>>在“常规”词法分析中会被认为是按位右移，但这是不正确的。我的感觉是很难将这种语法的处理分为两个阶段，词法分析工作必须在解析阶段完成，因为要正确解析 >>。依赖于语法，而不仅仅是简单的词汇规则。

我想知道关于这个问题的理论和实践。另外，我想知道 C++ 编译器如何处理这种情况？

最佳答案

C++ 标准要求实现在解析阶段之前执行词法分析以生成标记流。根据词法分析规则，连续两个>字符(后面没有 = )将始终被解释为一个 >> token 。 C++ 标准提供的语法是根据这些标记定义的。

要求在某些上下文中(例如在模板 ID 中期望 > 时)实现应解释 >>作为两个 >未在语法中指定。相反，该规则被指定为一种特殊情况:

14.2 Names of template specializations [temp.names] ###

After name lookup (3.4) finds that a name is a template-name or that an operator-function-id or a literal-operator-id refers to a set of overloaded functions any member of which is a function template if this is followed by a <, the < is always taken as the delimiter of a template-argument-list and never as the less-than operator. When parsing a template-argument-list, the first non-nested > is taken as the ending delimiter rather than a greater-than operator. Similarly, the first non-nested >> is treated as two consecutive but distinct > tokens, the first of which is taken as the end of the template-argument-list and completes the template-id. [ Note: The second > token produced by this replacement rule may terminate an enclosing template-id construct or it may be part of a different construct (e.g. a cast).—end note ]

注意前面的规则，在某些情况下 <应解释为 <在模板参数列表中。这是另一个需要上下文来消除解析歧义的构造示例。

C++ 语法包含许多这样的歧义，在没有上下文信息的情况下无法在解析过程中解决这些歧义。其中最著名的是Most Vexing Parse。 ，其中标识符可能会根据上下文解释为类型名称。

在 C++ 中跟踪上述上下文需要一个实现来与解析阶段并行执行一些语义分析。这通常以语义 Action 的形式实现，当在给定的上下文中识别出特定的语法结构时，这些语义 Action 就会被调用。然后，这些语义操作构建了一个表示上下文并允许高效查询的数据结构。这通常称为 symbol table , 但 C++ 所需的结构几乎是整个 AST .

这些上下文相关的语义 Action 也可以用来解决歧义。例如，在 namespace-body 上下文中识别identifier 时，语义操作将检查该名称是否先前被定义为模板。然后将结果反馈给解析器。这可以通过用结果标记 identifier 标记，或用匹配不同语法规则的特殊标记替换它来完成。

可以使用相同的技术来标记 <作为 template-argument-list 的开头，或者 >作为结束。 >> 的上下文相关替换规则有两个>提出本质上相同的问题，可以使用相同的方法解决。

关于c++ - 编译器 : limitation of lexical analysis，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/19106622/

limitationampcodeemC++c++parsingcompiler-construction

有关c++ - 编译器 : limitation of lexical analysis的更多相关文章

  1. ruby-on-rails - 如何优雅地重启 thin + nginx？ - 2

    我的瘦服务器配置了nginx，我的ROR应用程序正在它们上运行。在我发布代码更新时运行thinrestart会给我的应用程序带来一些停机时间。我试图弄清楚如何优雅地重启正在运行的Thin实例，但找不到好的解决方案。有没有人能做到这一点？ 最佳答案 #Restartjustthethinserverdescribedbythatconfigsudothin-C/etc/thin/mysite.ymlrestartNginx将继续运行并代理请求。如果您将Nginx设置为使用多个上游服务器，例如server{listen80;server

  2. ruby - Sinatra set cache_control to static files in public folder编译错误 - 2

    我不知道为什么，但是当我设置这个设置时它无法编译设置:static_cache_control，[:public，:max_age=>300]这是我得到的syntaxerror,unexpectedtASSOC,expecting']'(SyntaxError)set:static_cache_control,[:public,:max_age=>300]^我只想将“过期”header设置为css、javaascript和图像文件。谢谢。 最佳答案 我猜您使用的是Ruby1.8.7。Sinatra文档中显示的语法似乎是在Ruby1.

  3. ruby - 使用 `+=` 和 `send` 方法 - 2

    如何将send与+=一起使用？a=20;a.send"+=",10undefinedmethod`+='for20:Fixnuma=20;a+=10=>30 最佳答案 恐怕你不能。+=不是方法，而是语法糖。参见http://www.ruby-doc.org/docs/ProgrammingRuby/html/tut_expressions.html它说Incommonwithmanyotherlanguages,Rubyhasasyntacticshortcut:a=a+2maybewrittenasa+=2.你能做的最好的事情是:

  4. 安卓apk修改(Android反编译apk) - 2

    最近因为项目需要，需要将Android手机系统自带的某个系统软件反编译并更改里面某个资源，并重新打包，签名生成新的自定义的apk，下面我来介绍一下我的实现过程。APK修改，分为以下几步：反编译解包,修改,重打包,修改签名等步骤。安卓apk修改准备工作1.系统配置好JavaJDK环境变量2.需要root权限的手机（针对系统自带apk,其他软件免root）3.Auto-Sign签名工具4.apktool工具安卓apk修改开始反编译本文拿Android系统里面的Settings.apk做demo,具体如何将apk获取出来在此就不过多介绍了，直接进入主题：按键win+R输入cmd，打开命令窗口，并将路

  5. ruby - 如何计算 Liquid 中的变量 +1 - 2

    我对如何计算通过{%assignvar=0%}赋值的变量加一完全感到困惑。这应该是最简单的任务。到目前为止，这是我尝试过的:{%assignamount=0%}{%forvariantinproduct.variants%}{%assignamount=amount+1%}{%endfor%}Amount:{{amount}}结果总是0。也许我忽略了一些明显的东西。也许有更好的方法。我想要存档的只是获取运行的迭代次数。 最佳答案 因为{{incrementamount}}将输出您的变量值并且不会影响{%assign%}定义的变量，我

  6. arrays - Ruby 数组 += vs 推送 - 2

    我有一个数组数组，想将元素附加到子数组。+=做我想做的，但我想了解为什么push不做。我期望的行为(并与+=一起工作):b=Array.new(3,[])b[0]+=["apple"]b[1]+=["orange"]b[2]+=["frog"]b=>[["苹果"],["橙子"],["Frog"]]通过推送，我将推送的元素附加到每个子数组(为什么？):a=Array.new(3,[])a[0].push("apple")a[1].push("orange")a[2].push("frog")a=>[[“苹果”、“橙子”、“Frog”]、[“苹果”、“橙子”、“Frog”]、[“苹果”、“

  7. += 的 Ruby 方法 - 2

    有没有办法让Ruby能够做这样的事情？classPlane@moved=0@x=0defx+=(v)#thisiserror@x+=v@moved+=1enddefto_s"moved#{@moved}times,currentxis#{@x}"endendplane=Plane.newplane.x+=5plane.x+=10putsplane.to_s#moved2times,currentxis15 最佳答案 您不能在Ruby中覆盖复合赋值运算符。任务在内部处理。您应该覆盖+，而不是+=。plane.a+=b与plane.a=

  8. .net - 是否有 Ruby .NET 编译器？ - 2

    是否有适用于Ruby语言的.NETFramework编译器？我听说过DLR(动态语言运行时)，这是否将使Ruby能够用于.NET开发？ 最佳答案 IronRuby是Microsoft支持的项目，建立在动态语言运行时之上。 关于.net-是否有Ruby.NET编译器？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/199638/

  9. ruby - Sinatra + Heroku + Datamapper 使用 dm-sqlite-adapter 部署问题 - 2

    出于某种原因，heroku尝试要求dm-sqlite-adapter，即使它应该在这里使用Postgres。请注意，这发生在我打开任何URL时-而不是在gitpush本身期间。我构建了一个默认的Facebook应用程序。gem文件:source:gemcuttergem"foreman"gem"sinatra"gem"mogli"gem"json"gem"httparty"gem"thin"gem"data_mapper"gem"heroku"group:productiondogem"pg"gem"dm-postgres-adapter"endgroup:development,:t

  10. ruby - Ruby 中字符串运算符 + 和 << 的区别 - 2

    我是Ruby和这个网站的新手。下面两个函数是不同的，一个在函数外修改变量，一个不修改。defm1(x)x我想确保我理解正确-当调用m1时，对str的引用被复制并传递给将其视为x的函数。运算符当调用m2时，对str的引用被复制并传递给将其视为x的函数。运算符+创建一个新字符串，赋值x=x+"4"只是将x重定向到新字符串，而原始str变量保持不变。对吧？谢谢 最佳答案 String#+::str+other_str→new_strConcatenation—ReturnsanewStringcontainingother_strconc

随机推荐