c# - 手动编码解析器

coder 2023-07-11 原文

对于你们所有的编译器大师，我想写一个递归下降解析器，我想只用代码来做。没有从其他语法生成词法分析器和解析器，也没有告诉我阅读龙书，我最终会回过头来。

我想深入了解为合理的简单语言(例如 CSS)实现词法分析器和解析器的具体细节。我想做对。

这可能最终会成为一系列问题，但现在我从词法分析器开始。可以找到 CSS 的分词规则 here .

我发现我自己写的代码是这样的(希望你能从这个片段中推断出其余的):

public CssToken ReadNext()
{
    int val;
    while ((val = _reader.Read()) != -1)
    {
        var c = (char)val;
        switch (_stack.Top)
        {
            case ParserState.Init:
                if (c == ' ')
                {
                    continue; // ignore
                }
                else if (c == '.')
                {
                    _stack.Transition(ParserState.SubIdent, ParserState.Init);
                }
                break;

            case ParserState.SubIdent:
                if (c == '-')
                {
                    _token.Append(c);
                }
                _stack.Transition(ParserState.SubNMBegin);
                break;

这叫什么？我离合理的、很好理解的东西还有多远？我正在尝试平衡在效率和易于使用方面公平的东西，使用堆栈来实现某种状态机工作得很好，但我不确定如何继续这样。

我有一个输入流，一次可以从中读取 1 个字符。我现在不看头，我只是阅读角色，然后根据当前状态尝试用它做点什么。

我真的很想进入编写可重用代码片段的思维模式。此 Transition 方法目前的目的是执行此操作，它将弹出堆栈的当前状态，然后以相反的顺序压入参数。这样，当我编写 Transition(ParserState.SubIdent, ParserState.Init) 时，它将“调用”子例程 SubIdent，完成后将返回到 初始化状态。

解析器将以几乎相同的方式实现，目前，将所有内容都放在一个像这样的大方法中允许我在找到一个标记时轻松返回一个标记，但它也迫使我将所有内容保存在一个大方法中.有没有一种很好的方法可以将这些标记化规则拆分为单独的方法？

最佳答案

您正在编写的称为下推自动机。这通常比您编写词法分析器所需的功能更强大，如果您正在为像 CSS 这样的现代语言编写词法分析器，那肯定是多余的。递归下降解析器的功能接近下推自动机，但递归下降解析器更容易编写和理解。大多数解析器生成器生成下推自动机。

词法分析器几乎总是被写成有限状态机，即，就像你的代码一样，只是去掉了“堆栈”对象。有限状态机与正则表达式密切相关(实际上，它们可以证明是等价的)。在设计这样的解析器时，人们通常从正则表达式开始，并使用它们创建一个确定性有限自动机，并在转换中使用一些额外的代码来记录每个标记的开始和结束。

有一些工具可以做到这一点。 lex 工具及其派生工具广为人知，并已被翻译成多种语言。 ANTLR 工具链也有一个词法分析器组件。在支持它的平台上，我的首选工具是 ragel。 大多数手工编写词法分析器几乎没有什么好处，而且这些工具生成的代码可能会更快、更可靠。

如果你确实想自己写词法分析器，好的词法分析器通常看起来像这样:

function readToken() // note: returns only one token each time
    while !eof
        c = peekChar()
        if c in A-Za-z
            return readIdentifier()
        else if c in 0-9
            return readInteger()
        else if c in ' \n\r\t\v\f'
            nextChar()
        ...
    return EOF

function readIdentifier()
    ident = ""
    while !eof
        c = nextChar()
        if c in A-Za-z0-9
            ident.append(c)
        else
            return Token(Identifier, ident)
            // or maybe...
            return Identifier(ident)

然后您可以将解析器编写为递归下降解析器。不要试图将词法分析器/解析器阶段合并为一个，这会导致代码完全困惑。 (根据 Parsec 作者的说法，它也更慢)。

关于c# - 手动编码解析器，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/2632641/

c#手动分析器 code 编写 compiler-construction parsing lexer

有关c# - 手动编码解析器的更多相关文章

Ruby 解析字符串 - 2
我有一个字符串input="maybe(thisis|thatwas)some((nice|ugly)(day|night)|(strange(weather|time)))"Ruby中解析该字符串的最佳方法是什么？我的意思是脚本应该能够像这样构建句子:maybethisissomeuglynightmaybethatwassomenicenightmaybethiswassomestrangetime等等，你明白了......我应该一个字符一个字符地读取字符串并构建一个带有堆栈的状态机来存储括号值以供以后计算，还是有更好的方法？也许为此目的准备了一个开箱即用的库？
ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby 中生成它们？ - 2
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2
我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i
ruby - 用逗号、双引号和编码解析 csv - 2
我正在使用ruby1.9解析以下带有MacRoman字符的csv文件#encoding:ISO-8859-1#csv_parse.csvName,main-dialogue"Marceu","Giveittohimóhe,hiswife."我做了以下解析。require'csv'input_string=File.read("../csv_parse.rb").force_encoding("ISO-8859-1").encode("UTF-8")#=>"Name,main-dialogue\r\n\"Marceu\",\"Giveittohim\x97he,hiswife.\"\
c# - 如何在 ruby 中调用 C# dll？ - 2
如何在ruby中调用C#dll？最佳答案我能想到几种可能性:为您的DLL编写(或找人编写)一个COM包装器，如果它还没有，则使用Ruby的WIN32OLE库来调用它；看看RubyCLR,其中一位作者是JohnLam，他继续在Microsoft从事IronRuby方面的工作。(估计不会再维护了，可能不支持.Net2.0以上的版本)；正如其他地方已经提到的，看看使用IronRuby，如果这是您的技术选择。有一个主题是here.请注意，最后一篇文章实际上来自JohnLam(看起来像是2009年3月)，他似乎很自在地断言RubyCL
C# 到 Ruby sha1 base64 编码 - 2
我正在尝试在Ruby中复制Convert.ToBase64String()行为。这是我的C#代码:varsha1=newSHA1CryptoServiceProvider();varpasswordBytes=Encoding.UTF8.GetBytes("password");varpasswordHash=sha1.ComputeHash(passwordBytes);returnConvert.ToBase64String(passwordHash);//returns"W6ph5Mm5Pz8GgiULbPgzG37mj9g="当我在Ruby中尝试同样的事情时，我得到了相同sha
ruby-on-rails - 我更新了 ruby gems，现在到处都收到解析树错误和弃用警告! - 2
简而言之错误:NOTE:Gem::SourceIndex#add_specisdeprecated,useSpecification.add_spec.Itwillberemovedonorafter2011-11-01.Gem::SourceIndex#add_speccalledfrom/opt/local/lib/ruby/site_ruby/1.8/rubygems/source_index.rb:91./opt/local/lib/ruby/gems/1.8/gems/rails-2.3.8/lib/rails/gem_dependency.rb:275:in`==':und
基于C#实现简易绘图工具【100010177】 - 2
C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.
ruby - 用 YAML.load 解析 json 安全吗？ - 2
我正在使用ruby2.1.0我有一个json文件。例如:test.json{"item":[{"apple":1},{"banana":2}]}用YAML.load加载这个文件安全吗？YAML.load(File.read('test.json'))我正在尝试加载一个json或yaml格式的文件。最佳答案 YAML可以加载JSONYAML.load('{"something":"test","other":4}')=>{"something"=>"test","other"=>4}JSON将无法加载YAML。JSON.load("
ruby-on-rails - 有没有一种工具可以在编码时自动保存对文件的增量更改？ - 2
我最喜欢的Google文档功能之一是它会在我工作时不断自动保存我的文档版本。这意味着即使我在进行关键更改之前忘记在某个点进行保存，也很有可能会自动创建一个保存点。至少，我可以将文档恢复到错误更改之前的状态，并从该点继续工作。对于在MacOS(或UNIX)上运行的Ruby编码器，是否有具有等效功能的工具？例如，一个工具会每隔几分钟自动将Gitcheckin我的本地存储库以获取我正在处理的文件。也许我有点偏执，但这点小保险可以让我在日常工作中安心。最佳答案虚拟机有些人可能讨厌我对此的回应，但我在编码时经常使用VIM，它具有自动保存功

c# - 手动编码解析器

有关c# - 手动编码解析器的更多相关文章

随机推荐