草庐IT

php - 使用 PHP 从文件中读取最后几行(即 "tail")的最佳方法是什么？

coder 2023-04-28 原文

在我的 PHP 应用程序中，我需要 从末尾开始读取多行 许多文件(主要是日志)。有时我只需要最后一个，有时我需要 几十或几百。基本上，我想要像 Unix tail 这样灵活的东西 命令。

这里有一些关于如何从文件中获取最后一行的问题(但是 我需要 N 行)，并给出了不同的解决方案。我不确定是哪个 一个是最好的，并且性能更好。

最佳答案

方法概述

在互联网上搜索，我遇到了不同的解决方案。我可以将它们分组 三种方法:

  • naive 那些使用 file() PHP 函数的；
  • 作弊那些在系统上运行tail命令的；
  • mighty 可以愉快地使用 fseek() 在打开的文件中跳转。

我最终选择(或编写)五种解决方案，一种幼稚，一种作弊 和三个强大的。

  1. 最简洁的naive solution , 使用内置数组函数。
  2. only possible solution based on tail command ， 其中有 一个小问题:如果 tail 不可用，它就不会运行，即在 非 Unix (Windows) 或在不允许系统的受限环境中 功能。
  3. 单字节从文件搜索末尾读取的解决方案 用于(和计数)换行符，找到 here 。
  4. 发现针对大文件优化的多字节缓冲解决方案 here 。
  5. 阿略modified version of solution #4其中缓冲区长度为 动态的，根据要检索的行数决定。

所有解决方案有效。从某种意义上说，它们从 我们要求的任何文件和任何数量的行(解决方案＃1除外，可以 在大文件的情况下打破 PHP 内存限制，不返回任何内容)。但是哪一个 更好吗？

性能测试

为了回答我运行测试的问题。这些事情就是这样完成的，不是吗？

我准备了一个示例 100 KB 文件，将在 我的 /var/log 目录。然后我写了一个 PHP 脚本，它使用了每一个 检索 1, 2, .., 10, 20, ... 100, 200, ..., 1000 行的五种解决方案 从文件末尾。每个单独的测试重复十次(即 类似 5 × 28 × 10 = 1400 次测试)，测量 平均经过 时间 以微秒为单位。

我在本地开发机器(Xubuntu 12.04， PHP 5.3.10，2.70 GHz 双核 CPU，2 GB RAM)使用 PHP 命令行 口译员。结果如下:

解决方案 #1 和 #2 似乎更糟糕。解决方案 #3 仅在我们需要时才有效 读了几行。 解决方案 #4 和 #5 似乎是最好的。 注意动态缓冲区大小如何优化算法:执行时间有点 由于缓冲区减少，因此几行更小。

让我们尝试使用更大的文件。如果我们必须读取 10 MB 日志文件怎么办？

现在解决方案 #1 是最糟糕的一个:事实上，加载整个 10 MB 文件 进入内存不是一个好主意。我也在 1MB 和 100MB 文件上运行测试， 这实际上是相同的情况。

对于小日志文件呢？这是 10 KB 文件的图表:

解决方案 #1 现在是最好的解决方案!将 10 KB 加载到内存中并不是什么大问题 对于 PHP。 ＃4和＃5也表现良好。然而，这是一个边缘情况:10 KB 的日志 表示类似于 150/200 行...

You can download all my test files, sources and results here.

最后的想法

Solution #5 强烈推荐用于一般用例:效果很好 适合各种文件大小，并且在读取几行时表现特别好。

避免 solution #1 如果你 应该读取大于 10 KB 的文件。

解决方案 #2 和 #3 对于我运行的每个测试来说都不是最好的:#2 永远不会运行少于 2ms，#3 很大程度上受 你问的行(只有 1 或 2 行效果很好)。

关于php - 使用 PHP 从文件中读取最后几行(即 "tail")的最佳方法是什么？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15025875/

amp34strongnoreferrernoopenerphpperformancelogging

有关php - 使用 PHP 从文件中读取最后几行(即 "tail")的最佳方法是什么？的更多相关文章

  1. ruby - 如何使用 Nokogiri 的 xpath 和 at_xpath 方法 - 2

    我正在学习如何使用Nokogiri，根据这段代码我遇到了一些问题:require'rubygems'require'mechanize'post_agent=WWW::Mechanize.newpost_page=post_agent.get('http://www.vbulletin.org/forum/showthread.php?t=230708')puts"\nabsolutepathwithtbodygivesnil"putspost_page.parser.xpath('/html/body/div/div/div/div/div/table/tbody/tr/td/div

  2. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  3. ruby - 为什么我可以在 Ruby 中使用 Object#send 访问私有(private)/ protected 方法？ - 2

    类classAprivatedeffooputs:fooendpublicdefbarputs:barendprivatedefzimputs:zimendprotecteddefdibputs:dibendendA的实例a=A.new测试a.foorescueputs:faila.barrescueputs:faila.zimrescueputs:faila.dibrescueputs:faila.gazrescueputs:fail测试输出failbarfailfailfail.发送测试[:foo,:bar,:zim,:dib,:gaz].each{|m|a.send(m)resc

  4. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  5. ruby - 在 Ruby 中使用匿名模块 - 2

    假设我做了一个模块如下:m=Module.newdoclassCendend三个问题:除了对m的引用之外，还有什么方法可以访问C和m中的其他内容？我可以在创建匿名模块后为其命名吗(就像我输入“module...”一样)？如何在使用完匿名模块后将其删除，使其定义的常量不再存在？ 最佳答案 三个答案:是的，使用ObjectSpace.此代码使c引用你的类(class)C不引用m:c=nilObjectSpace.each_object{|obj|c=objif(Class===objandobj.name=~/::C$/)}当然这取决于

  6. ruby - 使用 ruby​​ 和 savon 的 SOAP 服务 - 2

    我正在尝试使用ruby​​和Savon来使用网络服务。测试服务为http://www.webservicex.net/WS/WSDetails.aspx?WSID=9&CATID=2require'rubygems'require'savon'client=Savon::Client.new"http://www.webservicex.net/stockquote.asmx?WSDL"client.get_quotedo|soap|soap.body={:symbol=>"AAPL"}end返回SOAP异常。检查soap信封，在我看来soap请求没有正确的命名空间。任何人都可以建议我

  7. python - 如何使用 Ruby 或 Python 创建一系列高音调和低音调的蜂鸣声？ - 2

    关闭。这个问题是opinion-based.它目前不接受答案。想要改进这个问题？更新问题，以便editingthispost可以用事实和引用来回答它.关闭4年前。Improvethisquestion我想在固定时间创建一系列低音和高音调的哔哔声。例如:在150毫秒时发出高音调的蜂鸣声在151毫秒时发出低音调的蜂鸣声200毫秒时发出低音调的蜂鸣声250毫秒的高音调蜂鸣声有没有办法在Ruby或Python中做到这一点？我真的不在乎输出编码是什么(.wav、.mp3、.ogg等等)，但我确实想创建一个输出文件。

  8. ruby-on-rails - rails : "missing partial" when calling 'render' in RSpec test - 2

    我正在尝试测试是否存在表单。我是Rails新手。我的new.html.erb_spec.rb文件的内容是:require'spec_helper'describe"messages/new.html.erb"doit"shouldrendertheform"dorender'/messages/new.html.erb'reponse.shouldhave_form_putting_to(@message)with_submit_buttonendendView本身，new.html.erb，有代码:当我运行rspec时，它失败了:1)messages/new.html.erbshou

  9. ruby-on-rails - 由于 "wkhtmltopdf"，PDFKIT 显然无法正常工作 - 2

    我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中，我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-

  10. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

随机推荐