我是 Lucene 的新手,在创建简单代码查询文本文件集合时遇到了一些问题。
我试过了 this example , 但与新版本的 Lucene 不兼容。
更新: This is my new code , 但它仍然不起作用。
最佳答案
Lucene 是一个相当大的主题,需要涵盖很多类和方法,如果不了解至少一些基本概念,通常无法使用它。如果您需要快速可用的服务,请使用 Solr反而。如果您需要完全控制 Lucene,请继续阅读。我将介绍一些代表它们的核心 Lucene 概念和类。 (有关如何读取内存中的文本文件的信息,请阅读,例如 this 文章)。
无论您要在 Lucene 中做什么——索引或搜索——您都需要一个分析器。分析器的目标是标记化(分解成单词)和词干(获取单词的基础)您的输入文本。它还会抛出最常用的词,如“a”、“the”等。你可以找到超过 20 种语言的分析器,或者你可以使用 SnowballAnalyzer。并将语言作为参数传递。
要为英语创建 SnowballAnalyzer 实例:
Analyzer analyzer = new SnowballAnalyzer(Version.LUCENE_30, "English");
如果你要索引不同语言的文本,并希望自动选择分析器,你可以使用tika's LanguageIdentifier。 .
您需要将索引存储在某处。有两种主要的可能性:内存索引,这是很容易尝试的,以及磁盘索引,这是最普遍的一种。
使用接下来两行中的任何一行:
Directory directory = new RAMDirectory(); // RAM index storage
Directory directory = FSDirectory.open(new File("/path/to/index")); // disk index storage
当你想要添加、更新或删除文档时,你需要IndexWriter:
IndexWriter writer = new IndexWriter(directory, analyzer, true, new IndexWriter.MaxFieldLength(25000));
任何文档(在您的案例中为文本文件)都是一组字段。要创建包含文件信息的文档,请使用:
Document doc = new Document();
String title = nameOfYourFile;
doc.add(new Field("title", title, Field.Store.YES, Field.Index.ANALYZED)); // adding title field
String content = contentsOfYourFile;
doc.add(new Field("content", content, Field.Store.YES, Field.Index.ANALYZED)); // adding content field
writer.addDocument(doc); // writing new document to the index
Field 构造函数采用字段名称、文本和至少另外 2 个参数。首先是一个标志,表明 Lucene 是否必须存储该字段。如果它等于 Field.Store.YES,您将有可能从索引中取回所有文本,否则只会存储有关它的索引信息。
第二个参数显示 Lucene 是否必须索引该字段。对要搜索的任何字段使用 Field.Index.ANALYZED。
通常,您使用如上所示的两个参数。
不要忘记在工作完成后关闭您的IndexWriter:
writer.close();
搜索有点棘手。您将需要几个类:Query 和 QueryParser 从字符串进行 Lucene 查询,IndexSearcher 用于实际搜索,TopScoreDocCollector 存储结果(它作为参数传递给 IndexSearcher)和 ScoreDoc 循环访问结果。下一个片段展示了这一切是如何组成的:
IndexSearcher searcher = new IndexSearcher(directory);
QueryParser parser = new QueryParser(Version.LUCENE_30, "content", analyzer);
Query query = parser.parse("terms to search");
TopScoreDocCollector collector = TopScoreDocCollector.create(HOW_MANY_RESULTS_TO_COLLECT, true);
searcher.search(query, collector);
ScoreDoc[] hits = collector.topDocs().scoreDocs;
// `i` is just a number of document in Lucene. Note, that this number may change after document deletion
for (int i = 0; i < hits.length; i++) {
Document hitDoc = searcher.doc(hits[i].doc); // getting actual document
System.out.println("Title: " + hitDoc.get("title"));
System.out.println("Content: " + hitDoc.get("content"));
System.out.println();
}
注意 QueryParser 构造函数的第二个参数 - 它是默认字段,即如果没有给出限定符将被搜索的字段。例如,如果您的查询是“title:term”,Lucene 将在所有文档的“title”字段中搜索单词“term”,但如果您的查询只是“term”,则将在默认字段中搜索,在这种情况下- “内容”。有关详细信息,请参阅 Lucene Query Syntax .
QueryParser 还将分析器作为最后一个参数。这必须与您用来索引文本的分析器相同。
您必须知道的最后一件事是 TopScoreDocCollector.create 第一个参数。它只是一个数字,表示您要收集多少结果。例如,如果它等于 100,Lucene 将只收集前(按分数)100 个结果并丢弃其余的。这只是一种优化行为——您收集最好的结果,如果您对它不满意,您会用更大的数字重复搜索。
最后,不要忘记关闭搜索器和目录以免丢失系统资源:
searcher.close();
directory.close();
编辑:另见 IndexFiles demo class来自 Lucene 3.0 sources .
关于java - 如何在 Lucene 3.0.2 中索引和搜索文本文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4091441/
出于纯粹的兴趣,我很好奇如何按顺序创建PI,而不是在过程结果之后生成数字,而是让数字在过程本身生成时显示。如果是这种情况,那么数字可以自行产生,我可以对以前看到的数字实现垃圾收集,从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法,类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits
如何在buildr项目中使用Ruby?我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序,我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/),但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻,因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby
我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%
为什么4.1%2返回0.0999999999999996?但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意,这不是与Ruby相关的问题,而是与所有编程语言相关的问题,因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返
exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby中使用两个参数异步运行exe吗?我已经尝试过ruby命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe,无需等待进程完成是否有任何rubygems会支持我的问题? 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除
鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende
我正在为一个项目制作一个简单的shell,我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止,我一直在使用CSV::parse_line,将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"
我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby,并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121
我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么? 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设? 关于java-等价于Java中的RubyHash,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/22737685/
这可能是个愚蠢的问题。但是,我是一个新手......你怎么能在交互式rubyshell中有多行代码?好像你只能有一条长线。按回车键运行代码。无论如何我可以在不运行代码的情况下跳到下一行吗?再次抱歉,如果这是一个愚蠢的问题。谢谢。 最佳答案 这是一个例子:2.1.2:053>a=1=>12.1.2:054>b=2=>22.1.2:055>a+b=>32.1.2:056>ifa>b#Thecode‘if..."startsthedefinitionoftheconditionalstatement.2.1.2:057?>puts"f