草庐IT

javascript - 如何在 Javascript 中实现词法分析

coder 2024-05-07 原文

大家好,感谢阅读

我目前正在尝试做一个谷歌风格的计算器。你输入一个字符串,它判断是否可以计算并返回结果。

我从基础慢慢开始:+ -/* 和括号处理。

我愿意随着时间的推移改进计算器,不久前学习了一些词法分析,我构建了一个标记列表和相关的正则表达式模式。

这种工作很容易适用于 Lex 和 Yacc 等语言,除非我开发的是纯 Javascript 应用程序。

我试图将这个想法转录成 Javascript,但我无法弄清楚如何以干净漂亮的方式处理所有内容,尤其是嵌套括号。


分析

让我们定义什么是计算器查询:

// NON TERMINAL EXPRESSIONS //
query     -> statement
query     -> ε // means end of query

statement -> statement operator statement
statement -> ( statement )
statement -> prefix statement
statement -> number

number    -> integer
number    -> float

// TERMINAL EXPRESSIONS //
operator  -> [+*/%^-]

prefix    -> -

integer   -> [0-9]+

float     -> [0-9]+[.,][0-9]+

Javascript

词法分析在于验证没有任何东西看起来不像终端表达式之一:运算符、前缀、整数和 float 。可以简化为一个正则表达式:

(我添加了空格以使其更具可读性)

var calcPat = 
/^ (\s*
    ( ([+/*%^-]) | ([0-9]+) | ([0-9]+[.,][0-9]+) | (\() | (\)) )
)+ \s* $/;

如果此测试通过,query 在词法上是正确的,需要进行语法检查以确定是否可以计算。 这是棘手的部分

我不会粘贴代码,因为它不干净也不容易理解,但我将解释我遵循的过程以及我被卡住的原因:

我创建了一个名为 isStatement(string) 的方法,它应该递归地调用自身。主要思想是将字符串拆分为“潜在的”语句,并检查它们是否真的是语句并完全形成一个。
流程如下:

-如果前两个标记是一个数字后跟一个运算符:

-那么,
-- 如果remaining只是一个token而且是一个数字:
--- 那么这是一个声明。
--- 否则,检查剩余的标记是否形成一个语句(递归调用)

-否则,如果第一个标记是括号
- 然后,找到匹配的右括号并检查里面是否是语句(递归)
-- 还要检查右括号后是否有东西,与括号结构关联时是否形成语句。


有什么问题?

我的问题是当有嵌套结构时我找不到匹配的括号。 我该怎么做?此外,如您所见,这不是一种特别通用且干净的语法检查算法。您有改进此模式的想法吗?

非常感谢您花时间阅读所有内容。 盖尔语

(PS:您可能已经注意到,我的母语不是英语!对于错误和所有错误,我们深表歉意!)

最佳答案

您对词法分析的概念是正确的,但您似乎对记号语法语言语法 之间的区别感到困惑。这是两个不同的东西。

  • 标记语法 是一组模式(通常是正则表达式),用于描述要解析的语言的标记。正则表达式是字符集上的表达式。

  • 语言语法(或者我想是目标语法)是您要解析的语言的语法。该语法以标记的形式表示。

您不能编写正则表达式来解析代数符号。您就是做不到。您可以为其编写语法,但它不是常规语法。你想要做的是识别单独的标记,在你的情况下,这可以用有点像你所拥有的正则表达式来完成。诀窍在于您并没有真正将该表达式应用于要解析的整个句子。相反,您想匹配句子中当前点的标记。

现在,因为您可以使用 Javascript 正则表达式,所以您可以想出一个正则表达式来匹配一串标记。这样做的诀窍是想出一种方法来识别哪个 token 与可能性列表匹配。 Javascript 正则表达式引擎可以返回组数组,因此也许您可以在此基础上构建一些东西。

edit — 我正在尝试弄清楚如何将一个(有点)通用的分词器构建器放在一起,从一系列单独的正则表达式(每个分词一个)开始。它可能不是很复杂,有它在身边会很有趣。

关于javascript - 如何在 Javascript 中实现词法分析,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4726539/

有关javascript - 如何在 Javascript 中实现词法分析的更多相关文章

  1. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣,我很好奇如何按顺序创建PI,而不是在过程结果之后生成数字,而是让数字在过程本身生成时显示。如果是这种情况,那么数字可以自行产生,我可以对以前看到的数字实现垃圾收集,从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法,类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  2. ruby - 在 Ruby 中实现 `call_user_func_array` - 2

    我怎样才能完成http://php.net/manual/en/function.call-user-func-array.php在ruby中?所以我可以这样做:classAppdeffoo(a,b)putsa+benddefbarargs=[1,2]App.send(:foo,args)#doesn'tworkApp.send(:foo,args[0],args[1])#doeswork,butdoesnotscaleendend 最佳答案 尝试分解数组App.send(:foo,*args)

  3. ruby - 如何在 buildr 项目中使用 Ruby 代码? - 2

    如何在buildr项目中使用Ruby?我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序,我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/),但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻,因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  4. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  5. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe? - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗?我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe,无需等待进程完成是否有任何ruby​​gems会支持我的问题? 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  6. ruby - 如何在续集中重新加载表模式? - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  7. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式? - 2

    我正在为一个项目制作一个简单的shell,我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止,我一直在使用CSV::parse_line,将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  8. ruby - 如何在 Lion 上安装 Xcode 4.6,需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby,并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  9. ruby-on-rails - 如何在 ruby​​ 交互式 shell 中有多行? - 2

    这可能是个愚蠢的问题。但是,我是一个新手......你怎么能在交互式ruby​​shell中有多行代码?好像你只能有一条长线。按回车键运行代码。无论如何我可以在不运行代码的情况下跳到下一行吗?再次抱歉,如果这是一个愚蠢的问题。谢谢。 最佳答案 这是一个例子:2.1.2:053>a=1=>12.1.2:054>b=2=>22.1.2:055>a+b=>32.1.2:056>ifa>b#Thecode‘if..."startsthedefinitionoftheconditionalstatement.2.1.2:057?>puts"f

  10. ruby-on-rails - 如何在我的 Rails 应用程序 View 中打印 ruby​​ 变量的内容? - 2

    我是一个Rails初学者,但我想从我的RailsView(html.haml文件)中查看Ruby变量的内容。我试图在ruby​​中打印出变量(认为它会在终端中出现),但没有得到任何结果。有什么建议吗?我知道Rails调试器,但更喜欢使用inspect来打印我的变量。 最佳答案 您可以在View中使用puts方法将信息输出到服务器控制台。您应该能够在View中的任何位置使用Haml执行以下操作:-puts@my_variable.inspect 关于ruby-on-rails-如何在我的R

随机推荐