草庐IT

java - Java7 "Solr/Lucene"bug有多严重?

coder 2023-05-12 原文

显然 Java7 在循环优化方面存在一些令人讨厌的错误:Google search .

从报告和错误描述中,我发现很难判断这个错误的严重程度(除非您使用 Solr 或 Lucene)。

我想知道的:

  • 我的(任何)计划受到影响的可能性有多大?
  • 错误的确定性是否足以让正常的测试发现它?

注意:我不能让我的程序的用户使用 -XX:-UseLoopPredicate 来避免这个问题。

最佳答案

任何热点错误的问题在于,您需要达到编译阈值(例如 10000)才能得到它:因此,如果您的单元测试“微不足道”,您可能无法捕捉到它。

例如,我们在 lucene 中发现了不正确的结果问题,因为这个特定的测试创建了 20,000 个文档索引。

在我们的测试中,我们随机化了不同的接口(interface)(例如不同的目录实现)和索引参数等,并且测试只有 1% 的时间失败,当然它可以用相同的随机种子重现。我们还在测试创建的每个索引上运行 checkindex,它会进行一些健全性测试以确保索引没有损坏。

对于我们找到的测试,如果您有特定的配置:例如RAMDirectory + PulsingCodec + 为该字段存储的有效负载,然后在达到编译阈值后,帖子上的枚举循环返回不正确的计算,在这种情况下,一个术语的返回文档数!= 为该术语存储的 docFreq。

我们有很多压力测试,重要的是要注意这个测试中的正常断言实际上通过了,它最后的 checkindex 部分失败了。

这样做的最大问题是,lucene 的增量索引基本上是通过将多个段合并为一个段来工作的:因此,如果这些枚举计算无效数据,那么这些无效数据会存储到新的合并索引:又名腐败。

我想说这个错误比我们之前遇到的循环优化器热点错误(例如,符号翻转的东西,https://issues.apache.org/jira/browse/LUCENE-2975)要狡猾得多。在那种情况下,我们得到了古怪的负面文档增量,这使得它很容易被捕获。我们也只需要手动展开一个方法来躲避它。另一方面,我们最初对此进行的唯一“测试”是 http://www.pangaea.de/ 的巨大 10GB 索引。 ,因此将其缩小到这个错误是很痛苦的。

在这种情况下,我花了很多时间(例如上周的每个晚上)尝试手动展开/内联各种东西,尝试创建一些解决方法,这样我们就可以避开错误并且不存在损坏索引的可能性创建的。我可以躲避一些情况,但还有很多情况我不能……而且我敢肯定,如果我们可以在测试中触发这些东西,还有更多的情况……

关于java - Java7 "Solr/Lucene"bug有多严重?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/6894104/

有关java - Java7 "Solr/Lucene"bug有多严重?的更多相关文章

  1. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身,new.html.erb,有代码:当我运行rspec时,它失败了:1)messages/new.html.erbshou

  2. ruby-on-rails - 由于 "wkhtmltopdf",PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中,我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  3. ruby - 检查 "command"的输出应该包含 NilClass 的意外崩溃 - 2

    为了将Cucumber用于命令行脚本,我按照提供的说明安装了arubagem。它在我的Gemfile中,我可以验证是否安装了正确的版本并且我已经包含了require'aruba/cucumber'在'features/env.rb'中为了确保它能正常工作,我写了以下场景:@announceScenario:Testingcucumber/arubaGivenablankslateThentheoutputfrom"ls-la"shouldcontain"drw"假设事情应该失败。它确实失败了,但失败的原因是错误的:@announceScenario:Testingcucumber/ar

  4. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么? 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设? 关于java-等价于Java中的RubyHash,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/22737685/

  5. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”,并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符,电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时,所有测试都通过了,但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

  6. ruby-on-rails - 相关表上的范围为 "WHERE ... LIKE" - 2

    我正在尝试从Postgresql表(table1)中获取数据,该表由另一个相关表(property)的字段(table2)过滤。在纯SQL中,我会这样编写查询:SELECT*FROMtable1JOINtable2USING(table2_id)WHEREtable2.propertyLIKE'query%'这工作正常:scope:my_scope,->(query){includes(:table2).where("table2.property":query)}但我真正需要的是使用LIKE运算符进行过滤,而不是严格相等。然而,这是行不通的:scope:my_scope,->(que

  7. 使用 ACL 调用 upload_file 时出现 Ruby S3 "Access Denied"错误 - 2

    我正在尝试编写一个将文件上传到AWS并公开该文件的Ruby脚本。我做了以下事情:s3=Aws::S3::Resource.new(credentials:Aws::Credentials.new(KEY,SECRET),region:'us-west-2')obj=s3.bucket('stg-db').object('key')obj.upload_file(filename)这似乎工作正常,除了该文件不是公开可用的,而且我无法获得它的公共(public)URL。但是当我登录到S3时,我可以正常查看我的文件。为了使其公开可用,我将最后一行更改为obj.upload_file(file

  8. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  9. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java,并成功地将它与另一个Java包一起使用,但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  10. ruby - RVM "ERROR: Unable to checkout branch ."单用户 - 2

    我在新的Debian6VirtualBoxVM上安装RVM时遇到问题。我已经安装了所有需要的包并使用下载了安装脚本(curl-shttps://rvm.beginrescueend.com/install/rvm)>rvm,但以单个用户身份运行时bashrvm我收到以下错误消息:ERROR:Unabletocheckoutbranch.安装在这里停止,并且(据我所知)没有安装RVM的任何文件。如果我以root身份运行脚本(对于多用户安装),我会收到另一条消息:Successfullycheckedoutbranch''安装程序继续并指示成功,但未添加.rvm目录,甚至在修改我的.bas

随机推荐