草庐IT

php - 我可以预测我的 Zend Framework 索引有多大吗？ (和一些快速 Q :s)

coder 2023-10-15 原文

我在 mysql 表中有大约 100thousand 行，其中 每行有大约 8 个字段。

我终于掌握了如何使用 Zend Lucene 从 mysql 表中索引和搜索数据。

在我的网站完全实现此功能之前，我有一些问题:

1- 是否可以预先确定索引的大小？这是因为在 Zend 手册中说索引的最大大小为 2GB。我马上就觉得这不够我的 table !

2- 我读过一些帖子，他们说 Zend Lucene 搜索在大型索引上非常慢，长达几分钟!直接使用 mysql 命令(SELECT、LIKE 等)而不是 zend 是否更快？

3- 我的问题是否有任何其他解决方案，即为分类广告创建搜索引擎，其中包含 these至少可以运行，并且不需要全文 mysql 索引(字段)。

谢谢

最佳答案

SOLR 基本上是一个 Apache Tomcat 容器，它实现了一个 REST 接口(interface)来查询 Apache Lucene 索引。是的，您需要能够在 Web 服务器上运行 Java 应用程序。这是您与托管服务提供商一起解决的问题。

使用您的网络应用程序的客户端不需要运行 Java。您的 PHP 应用程序可以对 SOLR 服务进行 REST 查询并将结果格式化为 HTML。客户端只能看到 HTML 输出；它永远不需要知道数据来自用 Java 实现的服务。

Zend_Search_Lucene 是一个纯 PHP 实现，其工作方式与 Apache Lucene 相同。 Zend 解决方案甚至使用相同的索引文件格式。所以在存储方面它们应该相等。

我使用 Java Lucene 为 StackOverflow 数据转储编制索引(2009 年 10 月)。我索引了 150 万行，包括大约 1 g 的文本数据。 Lucene 索引为 1323 MB，而相同数据的 MySQL FULLTEXT 索引仅为 466 MB。

使用 SQL LIKE 谓词代替任何全文索引解决方案当然不需要空间，因为它无论如何都不能使用常规索引。但在我的测试中，使用 LIKE 比 Java Lucene 慢约 200 倍，而后者又比对相同数据的 MySQL FULLTEXT 索引慢约 40%。

请参阅我最近关于使用 MySQL 的全文索引解决方案的演示:

http://www.slideshare.net/billkarwin/practical-full-text-search-with-my-sql

毫不奇怪，它无法与 Java Lucene 技术的性能和可伸缩性相媲美。 PHP 作为一种语言的优势是提高开发效率，而不是运行时效率。

更新: 我刚刚尝试使用 Zend_Search_Lucene 创建索引。使用 PHP 创建索引比使用 Java Lucene 技术慢得多，所以我只索引了 10,000 个文档。这花费了将近 15 分钟，这将使整个集合的索引花费大约 36 小时。将此与 Java Lucene 进行比较，在我的测试中，它在 7 分钟内为 150 万个文档的完整集合编制了索引。

我使用 Zend_Search_Lucene 创建的索引大小为 8.75 MB。推断这个 150 倍，我估计完整索引将是 1312.5 MB。所以我得出结论，Zend_Search_Lucene 创建的索引大小与 Java Lucene 生成的索引大小大致相同。这符合预期。

关于php - 我可以预测我的 Zend Framework 索引有多大吗？ (和一些快速 Q :s)，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/1943300/

FrameworkZendLucenecodesectionphpsqlmysqlzend-framework

有关php - 我可以预测我的 Zend Framework 索引有多大吗？ (和一些快速 Q :s)的更多相关文章

  1. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  2. ruby - 使用 Vim Rails，您可以创建一个新的迁移文件并一次性打开它吗？ - 2

    使用带有Rails插件的vim，您可以创建一个迁移文件，然后一次性打开该文件吗？textmate也可以这样吗？ 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件，这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails，您可以创建一个新的迁移文件并一次性打开它吗？，我们在StackOverflow上找到一个类似的问题： https://sta

  3. ruby - 我可以使用 Ruby 从 CSV 中删除列吗？ - 2

    查看Ruby的CSV库的文档，我非常确定这是可能且简单的。我只需要使用Ruby删除CSV文件的前三列，但我没有成功运行它。 最佳答案 csv_table=CSV.read(file_path_in,:headers=>true)csv_table.delete("header_name")csv_table.to_csv#=>ThenewCSVinstringformat检查CSV::Table文档:http://ruby-doc.org/stdlib-1.9.2/libdoc/csv/rdoc/CSV/Table.html

  4. ruby - 我可以使用 aws-sdk-ruby 在 AWS S3 上使用事务性文件删除/上传吗？ - 2

    我发现ActiveRecord::Base.transaction在复杂方法中非常有效。我想知道是否可以在如下事务中从AWSS3上传/删除文件:S3Object.transactiondo#writeintofiles#raiseanexceptionend引发异常后，每个操作都应在S3上回滚。S3Object这可能吗？？ 最佳答案 虽然S3API具有批量删除功能，但它不支持事务，因为每个删除操作都可以独立于其他操作成功/失败。该API不提供任何批量上传功能(通过PUT或POST)，因此每个上传操作都是通过一个独立的API调用完成的

  5. ruby - 有人可以帮助解释类创建的 post_initialize 回调吗 (Sandi Metz) - 2

    我正在阅读SandiMetz的POODR，并且遇到了一个我不太了解的编码原则。这是代码:classBicycleattr_reader:size,:chain,:tire_sizedefinitialize(args={})@size=args[:size]||1@chain=args[:chain]||2@tire_size=args[:tire_size]||3post_initialize(args)endendclassMountainBike此代码将为其各自的属性输出1,2,3,4,5。我不明白的是查找方法。当一辆山地自行车被实例化时，因为它没有自己的initialize方法

  6. ruby - 是否可以覆盖 gemfile 进行本地开发？ - 2

    我们的git存储库中目前有一个Gemfile。但是，有一个gem我只在我的环境中本地使用(我的团队不使用它)。为了使用它，我必须将它添加到我们的Gemfile中，但每次我checkout到我们的master/dev主分支时，由于与跟踪的gemfile冲突，我必须删除它。我想要的是类似Gemfile.local的东西，它将继承从Gemfile导入的gems，但也允许在那里导入新的gems以供使用只有我的机器。此文件将在.gitignore中被忽略。这可能吗？ 最佳答案 设置BUNDLE_GEMFILE环境变量:BUNDLE_GEMFI

  7. ruby - 我可以将我的 README.textile 以正确的格式放入我的 RDoc 中吗？ - 2

    我喜欢使用Textile或Markdown为我的项目编写自述文件，但是当我生成RDoc时，自述文件被解释为RDoc并且看起来非常糟糕。有没有办法让RDoc通过RedCloth或BlueCloth而不是它自己的格式化程序运行文件？它可以配置为自动检测文件后缀的格式吗？(例如README.textile通过RedCloth运行，但README.mdown通过BlueCloth运行) 最佳答案 使用YARD直接代替RDoc将允许您包含Textile或Markdown文件，只要它们的文件后缀是合理的。我经常使用类似于以下Rake任务的东西:

  8. ruby - 一个 YAML 对象可以引用另一个吗？ - 2

    我想让一个yaml对象引用另一个，如下所示:intro:"Hello,dearuser."registration:$introThanksforregistering!new_message:$introYouhaveanewmessage!上面的语法只是它如何工作的一个例子(这也是它在thiscpanmodule中的工作方式。)我正在使用标准的ruby​​yaml解析器。这可能吗？ 最佳答案 一些yaml对象确实引用了其他对象:irb>require'yaml'#=>trueirb>str="hello"#=>"hello"ir

  9. ruby - 可以通过多少种方法将方法添加到 ruby​​ 对象？ - 2

    当谈到运行时自省(introspection)和动态代码生成时，我认为ruby​​没有任何竞争对手，可能除了一些lisp方言。前几天，我正在做一些代码练习来探索ruby​​的动态功能，我开始想知道如何向现有对象添加方法。以下是我能想到的3种方法:obj=Object.new#addamethoddirectlydefobj.new_method...end#addamethodindirectlywiththesingletonclassclass这只是冰山一角，因为我还没有探索instance_eval、module_eval和define_method的各种组合。是否有在线/离线资

  10. ruby-on-rails - Ruby on Rails 可以部署在 Azure 网站上吗？ - 2

    我可以在Azure网站上部署RubyonRails吗？ 最佳答案 还没有。目前仅支持.NET和PHP。 关于ruby-on-rails-RubyonRails可以部署在Azure网站上吗？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/12964010/

随机推荐