草庐IT

java - 如何在 Lucene 3.0.2 中索引和搜索文本文件?

coder 2023-09-03 原文

我是 Lucene 的新手,在创建简单代码查询文本文件集合时遇到了一些问题。

我试过了 this example , 但与新版本的 Lucene 不兼容。

更新: This is my new code , 但它仍然不起作用。

最佳答案

Lucene 是一个相当大的主题,需要涵盖很多类和方法,如果不了解至少一些基本概念,通常无法使用它。如果您需要快速可用的服务,请使用 Solr反而。如果您需要完全控制 Lucene,请继续阅读。我将介绍一些代表它们的核心 Lucene 概念和类。 (有关如何读取内存中的文本文件的信息,请阅读,例如 this 文章)。

无论您要在 Lucene 中做什么——索引或搜索——您都需要一个分析器。分析器的目标是标记化(分解成单词)和词干(获取单词的基础)您的输入文本。它还会抛出最常用的词,如“a”、“the”等。你可以找到超过 20 种语言的分析器,或者你可以使用 SnowballAnalyzer。并将语言作为参数传递。
要为英语创建 SnowballAnalyzer 实例:

Analyzer analyzer = new SnowballAnalyzer(Version.LUCENE_30, "English");

如果你要索引不同语言的文本,并希望自动选择分析器,你可以使用tika's LanguageIdentifier。 .

您需要将索引存储在某处。有两种主要的可能性:内存索引,这是很容易尝试的,以及磁盘索引,这是最普遍的一种。
使用接下来两行中的任何一行:

Directory directory = new RAMDirectory();   // RAM index storage
Directory directory = FSDirectory.open(new File("/path/to/index"));  // disk index storage

当你想要添加、更新或删除文档时,你需要IndexWriter:

IndexWriter writer = new IndexWriter(directory, analyzer, true, new IndexWriter.MaxFieldLength(25000));

任何文档(在您的案例中为文本文件)都是一组字段。要创建包含文件信息的文档,请使用:

Document doc = new Document();
String title = nameOfYourFile;
doc.add(new Field("title", title, Field.Store.YES, Field.Index.ANALYZED));  // adding title field
String content = contentsOfYourFile;
doc.add(new Field("content", content, Field.Store.YES, Field.Index.ANALYZED)); // adding content field
writer.addDocument(doc);  // writing new document to the index

Field 构造函数采用字段名称、文本和至少另外 2 个参数。首先是一个标志,表明 Lucene 是否必须存储该字段。如果它等于 Field.Store.YES,您将有可能从索引中取回所有文本,否则只会存储有关它的索引信息。
第二个参数显示 Lucene 是否必须索引该字段。对要搜索的任何字段使用 Field.Index.ANALYZED
通常,您使用如上所示的两个参数。

不要忘记在工作完成后关闭您的IndexWriter:

writer.close();

搜索有点棘手。您将需要几个类:QueryQueryParser 从字符串进行 Lucene 查询,IndexSearcher 用于实际搜索,TopScoreDocCollector 存储结果(它作为参数传递给 IndexSearcher)和 ScoreDoc 循环访问结果。下一个片段展示了这一切是如何组成的:

IndexSearcher searcher = new IndexSearcher(directory);
QueryParser parser = new QueryParser(Version.LUCENE_30, "content", analyzer);
Query query = parser.parse("terms to search");
TopScoreDocCollector collector = TopScoreDocCollector.create(HOW_MANY_RESULTS_TO_COLLECT, true);
searcher.search(query, collector);

ScoreDoc[] hits = collector.topDocs().scoreDocs;
// `i` is just a number of document in Lucene. Note, that this number may change after document deletion 
for (int i = 0; i < hits.length; i++) {
    Document hitDoc = searcher.doc(hits[i].doc);  // getting actual document
    System.out.println("Title: " + hitDoc.get("title"));
    System.out.println("Content: " + hitDoc.get("content"));
    System.out.println();
}

注意 QueryParser 构造函数的第二个参数 - 它是默认字段,即如果没有给出限定符将被搜索的字段。例如,如果您的查询是“title:term”,Lucene 将在所有文档的“title”字段中搜索单词“term”,但如果您的查询只是“term”,则将在默认字段中搜索,在这种情况下- “内容”。有关详细信息,请参阅 Lucene Query Syntax .
QueryParser 还将分析器作为最后一个参数。这必须与您用来索引文本的分析器相同。

您必须知道的最后一件事是 TopScoreDocCollector.create 第一个参数。它只是一个数字,表示您要收集多少结果。例如,如果它等于 100,Lucene 将只收集前(按分数)100 个结果并丢弃其余的。这只是一种优化行为——您收集最好的结果,如果您对它不满意,您会用更大的数字重复搜索。

最后,不要忘记关闭搜索器和目录以免丢失系统资源:

searcher.close();
directory.close();

编辑:另见 IndexFiles demo class来自 Lucene 3.0 sources .

关于java - 如何在 Lucene 3.0.2 中索引和搜索文本文件?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/4091441/

有关java - 如何在 Lucene 3.0.2 中索引和搜索文本文件?的更多相关文章

  1. ruby - 如何在 Ruby 中顺序创建 PI - 2

    出于纯粹的兴趣,我很好奇如何按顺序创建PI,而不是在过程结果之后生成数字,而是让数字在过程本身生成时显示。如果是这种情况,那么数字可以自行产生,我可以对以前看到的数字实现垃圾收集,从而创建一个无限系列。结果只是在Pi系列之后每秒生成一个数字。这是我通过互联网筛选的结果:这是流行的计算机友好算法,类机器算法:defarccot(x,unity)xpow=unity/xn=1sign=1sum=0loopdoterm=xpow/nbreakifterm==0sum+=sign*(xpow/n)xpow/=x*xn+=2sign=-signendsumenddefcalc_pi(digits

  2. ruby - 如何在 buildr 项目中使用 Ruby 代码? - 2

    如何在buildr项目中使用Ruby?我在很多不同的项目中使用过Ruby、JRuby、Java和Clojure。我目前正在使用我的标准Ruby开发一个模拟应用程序,我想尝试使用Clojure后端(我确实喜欢功能代码)以及JRubygui和测试套件。我还可以看到在未来的不同项目中使用Scala作为后端。我想我要为我的项目尝试一下buildr(http://buildr.apache.org/),但我注意到buildr似乎没有设置为在项目中使用JRuby代码本身!这看起来有点傻,因为该工具旨在统一通用的JVM语言并且是在ruby中构建的。除了将输出的jar包含在一个独特的、仅限ruby​​

  3. ruby - 什么是填充的 Base64 编码字符串以及如何在 ruby​​ 中生成它们? - 2

    我正在使用的第三方API的文档状态:"[O]urAPIonlyacceptspaddedBase64encodedstrings."什么是“填充的Base64编码字符串”以及如何在Ruby中生成它们。下面的代码是我第一次尝试创建转换为Base64的JSON格式数据。xa=Base64.encode64(a.to_json) 最佳答案 他们说的padding其实就是Base64本身的一部分。它是末尾的“=”和“==”。Base64将3个字节的数据包编码为4个编码字符。所以如果你的输入数据有长度n和n%3=1=>"=="末尾用于填充n%

  4. ruby - 为什么 4.1%2 使用 Ruby 返回 0.0999999999999996?但是 4.2%2==0.2 - 2

    为什么4.1%2返回0.0999999999999996?但是4.2%2==0.2。 最佳答案 参见此处:WhatEveryProgrammerShouldKnowAboutFloating-PointArithmetic实数是无限的。计算机使用的位数有限(今天是32位、64位)。因此计算机进行的浮点运算不能代表所有的实数。0.1是这些数字之一。请注意,这不是与Ruby相关的问题,而是与所有编程语言相关的问题,因为它来自计算机表示实数的方式。 关于ruby-为什么4.1%2使用Ruby返

  5. ruby-on-rails - 如何在 ruby​​ 中使用两个参数异步运行 exe? - 2

    exe应该在我打开页面时运行。异步进程需要运行。有什么方法可以在ruby​​中使用两个参数异步运行exe吗?我已经尝试过ruby​​命令-system()、exec()但它正在等待过程完成。我需要用参数启动exe,无需等待进程完成是否有任何ruby​​gems会支持我的问题? 最佳答案 您可以使用Process.spawn和Process.wait2:pid=Process.spawn'your.exe','--option'#Later...pid,status=Process.wait2pid您的程序将作为解释器的子进程执行。除

  6. ruby - 如何在续集中重新加载表模式? - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  7. ruby - 如何在 Ruby 中拆分参数字符串 Bash 样式? - 2

    我正在为一个项目制作一个简单的shell,我希望像在Bash中一样解析参数字符串。foobar"helloworld"fooz应该变成:["foo","bar","helloworld","fooz"]等等。到目前为止,我一直在使用CSV::parse_line,将列分隔符设置为""和.compact输出。问题是我现在必须选择是要支持单引号还是双引号。CSV不支持超过一个分隔符。Python有一个名为shlex的模块:>>>shlex.split("Test'helloworld'foo")['Test','helloworld','foo']>>>shlex.split('Test"

  8. ruby - 如何在 Lion 上安装 Xcode 4.6,需要用 RVM 升级 ruby - 2

    我实际上是在尝试使用RVM在我的OSX10.7.5上更新ruby,并在输入以下命令后:rvminstallruby我得到了以下回复:Searchingforbinaryrubies,thismighttakesometime.Checkingrequirementsforosx.Installingrequirementsforosx.Updatingsystem.......Errorrunning'requirements_osx_brew_update_systemruby-2.0.0-p247',pleaseread/Users/username/.rvm/log/138121

  9. java - 等价于 Java 中的 Ruby Hash - 2

    我真的很习惯使用Ruby编写以下代码:my_hash={}my_hash['test']=1Java中对应的数据结构是什么? 最佳答案 HashMapmap=newHashMap();map.put("test",1);我假设? 关于java-等价于Java中的RubyHash,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/22737685/

  10. ruby-on-rails - 如何在 ruby​​ 交互式 shell 中有多行? - 2

    这可能是个愚蠢的问题。但是,我是一个新手......你怎么能在交互式ruby​​shell中有多行代码?好像你只能有一条长线。按回车键运行代码。无论如何我可以在不运行代码的情况下跳到下一行吗?再次抱歉,如果这是一个愚蠢的问题。谢谢。 最佳答案 这是一个例子:2.1.2:053>a=1=>12.1.2:054>b=2=>22.1.2:055>a+b=>32.1.2:056>ifa>b#Thecode‘if..."startsthedefinitionoftheconditionalstatement.2.1.2:057?>puts"f

随机推荐