草庐IT

awstats CGI模式下动态生成页面缓慢的改进

kai404 2023-03-28 原文
本文可以看做是 多server多站点情况下awstats日志分析 这篇文章的下篇，在使用过程中发现awstats在cgi模式下动态生成分析报告慢的问题 （尤其是有些站点每天两个多G的日志，查看起来简直是在考验人的耐性），本文分享一种改造这个缺点的思路。

首先再来总结下awstats的处理过程以及查看分析结果的两种方式，来看官方版说明:

Process logs: Building/updating statistics database，建立/更新统计数据库（包含统计结果的文本文件）命令如下
  perl awstats.pl -config=mysite -update
Run reports: Building and reading reports（生成并阅读报告）
1.The first option is to build the main reports, in a static HTML page, from the command line, using the following syntax
  第一种方式，通过命令行生成html文件，然后浏览器展示。命令如下
  perl awstats.pl -config=mysite -output -staticlinks > awstats.mysite.html
2.The second option is to dynamically view your statistics from a browser.  To do this, use the URL:
  第二种方式，通过如下的url“动态”的生成该站点的分析报告
  http://www.myserver.mydomain/awstats/awstats.pl?config=mysite
  总体思路就是，既然“动态生成”这个过程耗时，那就在服务器上定时通过curl 请求每个站点对应的url将生成的html页面存储到特定位置，然后浏览器访问时直接读取html文件即可（可能有同学要问了，这么费事，那为啥不直接用上面的第一种方式，用awstats.pl提供的参数直接生成html文件呢？这也就回归到上篇文章中讨论过的两种方式的差别了，awstats.pl生成的静态html页面从易用性和美观性都不如通过CGI动态生成的html页面）

  思路有了，接下来就是“尝试”和“分析特征”。我们直接以

curl  -o /tmp/mysite.html http://www.myserver.mydomain/awstats/awstats.pl?config=mysite得到的页面源代码如下

<html > <head> <meta name="generator" content="AWStats 7.4 (build 20150714) from config file awstats./usr/local/awstats/etc/www.conf.conf (http://www.awstats.org)"> <meta name="robots" content="noindex,nofollow"> <meta http-equiv="content-type" content="text/html; charset=utf-8"> <meta http-equiv="expires" content="Wed Apr 27 11:09:58 2016"> <meta http-equiv="description" content="Awstats - Advanced Web Statistics for www.dddd.com (2015-08) - main"> <title>Statistics for www.mysite.com (2015-08) - main</title> </head> <frameset cols="240,*"> <frame name="mainleft" src="awstats.pl?config=mysite&amp;framename=mainleft" noresize="noresize" frameborder="0" /> <frame name="mainright" src="awstats.pl?config=mysite&amp;framename=mainright" noresize="noresize" scrolling="yes" frameborder="0" /> <noframes><body>Your browser does not support frames.<br /> You must set AWStats UseFramesWhenCGI parameter to 0 to see your reports.<br /> </body></noframes> </frameset> </html>可以看到动态生成的页面实际上是一个包含了两个frame（mainleft和mainright）的html文件，也就是说，如果我们想还原一个动态生成的报告页面，需要通过如下三条命令来生成对应的三个文件

curl -s -o main.html "http://www.myserver.mydomain/awstats/awstats.pl?config=mysite"    #取得主页面 curl -s -o left.html "http://www.myserver.mydomain/awstats/awstats.pl?config=mysite&framename=mainleft"    #取得左frame curl -s -o right.html "http://www.myserver.mydomain/awstats/awstats.pl?config=mysite&framename=mainright"    #取得右frame然后，需要在 main.html中修改mainleft和mainright两个frame的src属性，将其指定到我们生成的left.html和right.html。如此我们就实现了将动态页面静态化（实际上是把动态生这个等待时间放到脚本里定时执行了）。

  接下来，就是具体的实现过程了，涉及到对上篇文章中“cron_awstats_update.sh”脚本的改进，修改后的脚本内容如下（注释还算丰富，也能帮助理解思路）

#!/bin/sh #awstats日志分析 basedir=/usr/local/awstats-7.4 date_y_m=$(date +%Y%m -d '1 day ago')    #因为该脚本是第二天凌晨分析前一天的日志 year=`echo ${date_y_m:0:4}` month=`echo ${date_y_m:4:5}` cd $basedir #循环更新所有站点日志统计信息 echo -e "\e[1;31m-------`date "+%F %T"`    开始处理---------\n\e[0m" >>logs/cron.log for i in `ls result/` do     echo -e "\e[1;32m -----`date "+%F %T"`  处理 $i 日志-----\e[0m" >>logs/cron.log     perl wwwroot/cgi-bin/awstats.pl -config=etc/$i.conf -lang=cn -update &>>logs/cron.log     #将动态页面静态化，查看展示页面结构可得：主页面基本没内容，主要靠左右两个frame来生成内容     #所以可以将每一个站点的展示页分为三部分来缓存     echo -e "\e[1;32m -----`date "+%F %T"` 分析 $i 生成静态页面-----\n\e[0m" >>logs/cron.log     cd wwwroot     if [ ! -d $i/$date_y_m ];then mkdir -p $i/$date_y_m;fi     cd $i/$date_y_m     curl -s -o main.html\    #主页面         "http://127.0.0.1/cgi-bin/awstats.pl?month=$month&year=$year&output=main&config=/usr/local/services/awstats-7.4/etc/$site.conf&framename=index"     curl -s -o left.html\    #左页面         "http://127.0.0.1/cgi-bin/awstats.pl?month=$month&year=$year&output=main&config=/usr/local/services/awstats-7.4/etc/$site.conf&framename=mainleft"     curl -s -o right.html\    #右页面         "http://127.0.0.1/cgi-bin/awstats.pl?month=$month&year=$year&output=main&config=/usr/local/services/awstats-7.4/etc/$site.conf&framename=mainright"     #修改main.html里关于左右两个frame的引用     sed -i -e 's/awstats.pl.*left/left.html/g' -e 's/awstats.pl.*right/right.html/g' main.html     #接下来修改上面三个文件中的超链接部分     sed -i -e 's#awstats.pl#http://123.123.123.123/cgi-bin/awstats.pl#g'\    #123.123.123.123为公网ip            -e 's/charset=.*/charset=utf-8">/g'\            -e 's/lang="cn"//g'\            main.html left.html right.html     #剩下的事就是去修改nginx index.html页面的超链接指向     cd $basedir done echo -e "\e[1;33m-------`date "+%F %T"`  处理完成---------\n\e[0m" >>logs/cron.log ##### #原始请求样式， #http://127.0.0.1/cgi-bin/awstats.pl?config=/usr/local/awstats-7.4/etc/heibai.conf 这个url访问该站点最新数据，会产生下面三个请求 #http://127.0.0.1/cgi-bin/awstats.pl?config=/usr/local/awstats-7.4/etc/heibai.conf #http://127.0.0.1/cgi-bin/awstats.pl?config=/usr/local/awstats-7.4/etc/heibai.conf&framename=mainleft #http://127.0.0.1/cgi-bin/awstats.pl?config=/usr/local/awstats-7.4/etc/heibai.conf&framename=mainright ##### #选择年月之后，会产生如下三个请求 #http://127.0.0.1/cgi-bin/awstats.pl?month=05&year=2016&output=main&config=%2Fusr%2Flocal%2Fawstats-7.4%2Fetc%2Fheibai.conf&framename=index 经过编码的 #http://127.0.0.1/cgi-bin/awstats.pl?month=05&year=2016&output=main&config=/usr/local/awstats-7.4/etc/heibai.conf&framename=mainleft #http://127.0.0.1/cgi-bin/awstats.pl?month=05&year=2016&output=main&config=/usr/local/awstats-7.4/etc/heibai.conf&framename=mainright #####经过脚本处理之后，在wwwroot目录下，站点目录与html文件会是这个样子

到此，我们对上篇文章中的nginx配置部分做相应修改后就可以通过如下url来访问了

http://www.myserver.mydomain/www/201605    #表示www站2016年5月的统计页面

  但是，改造到这里并不算完，在动态生成的页面里，有选择年和月的下拉框，可以查看指定年月的统计页面，如下图

这个功能会产生一个如下的请求
http://www.myserver.mydomain/cgi-bin/awstats.pl?month=04&year=2016&output=main&config=www.conf&framename=index

仍然是动态请求（即仍然会慢），但按照我们的设计，每个月应该都已经生成了静态文件，所以是不需要动态生成的。如何将这个功能点修改为也按照上面静态url的格式呢，这里作者首先想到了两个方案：
  一个是通过js获取年和月的值，然后在表单的action处拼出所需的url
  另一个是通过nginx的rewrite来实现
经过尝试和对比，第二种方案更适合这里的场景，因为第一种涉及到对生成的html文件内容进行修改，且不止一处，实现起来啰嗦一些；而第二种方案只需要在nginx里做配置即可（这里如何从nginx获取到参数值并且引用该值算是一个小技巧吧）。

  最终，修改之后的nginx配置文件如下

server {     listen   800;     root /usr/local/awstats/wwwroot;     access_log /tmp/awstats_access_log access;     error_log /tmp/awstats_nginx.error_log notice;     location / {         index index.html main.html;     }     # Static awstats files: HTML files stored in DOCUMENT_ROOT/awstats/     location /awstats/classes/ {         alias classes/;     }     location /awstats/css/ {         alias css/;     }     location /awstats/icon/ {         alias icon/;     }     location /awstats-icon/ {         alias icon/;     }     location /awstats/js/ {         alias js/;     }     # Dynamic stats.     location ~ ^/cgi-bin/(awredir|awstats)\.pl.* {         gzip off;         fastcgi_pass 127.0.0.1:9000;         fastcgi_param SCRIPT_FILENAME $document_root/cgi-bin/fcgi.php;         fastcgi_param X_SCRIPT_FILENAME $document_root$fastcgi_script_name;         fastcgi_param X_SCRIPT_NAME $fastcgi_script_name;         include fastcgi_params;         fastcgi_send_timeout 300;         #为了让顶部根据时间筛选功能也能用上之前生成的静态页面, 其中%2F部分为url编码后的/，为了取得站点名         if ($query_string ~* "^month=(\d+)&year=(\d+)&output=main&config=.+etc%2F(.+)\.conf&framename=index$") {             set $month $1;             set $year $2;             set $site $3;             rewrite  ^/cgi-bin/awstats\.pl  /$site/$year$month? permanent;         }     }     expires 12h; }
最后一点，不要忘了修改“入口文件”`index.html`哦，js自动生成的超链接要修改，增加及修改下面内容

/*... 省略 ...*/ //一个能计算昨天明天等日期的函数             function GetDateStr(AddDayCount) {                 var dd = new Date();                 dd.setDate(dd.getDate()+AddDayCount);//获取AddDayCount天后的日期                 var y = dd.getFullYear();                 var m = dd.getMonth()+1;//获取当前月份的日期                 var d = dd.getDate();                 if (m<10) {                     return y+"0"+m;    //格式自定义                 } else {                     return y+''+m;                 }             }             var yesterday=GetDateStr(-1);   //计算昨天日期  格式  201604             //向表格填充内容             for (var tdid=0;tdid<num;tdid++) {                 //依顺序获取各td元素                 var tdnode=document.getElementById(tdid+1);                 //取出每个域名里的主机名，服务器端配置文件命名方式为 “主机名.conf”                 var hostname=vhost[tdid].split(".abc",1);                 //向表格插入域名并且设置超链接                 tdnode.innerHTML="<a href=\""+hostname+"/"+yesterday+"\">" +vhost[tdid] +"</a>";             }       /*... 省略 ...*/

主要修改如下图

 

ok，到这里整个改进过程完毕。每个月份的统计结果的主页面都已经实现了静态化，查看时再也不用经历漫长的等待了！
  PS: 工具再好，也不见得完全适合或者满足自己的需求，大部分情况下作为“软件使用者”的运维同胞，应该有这个意识：不只会用，必要时还能改。共勉！

缓慢改进nbspawstatshtmlawstats生成页面慢awstatscgi模式awstats改进Nginx服务器

有关awstats CGI模式下动态生成页面缓慢的改进的更多相关文章

  1. ruby - 使用 RubyZip 生成 ZIP 文件时设置压缩级别 - 2

    我有一个Ruby程序，它使用rubyzip压缩XML文件的目录树。gem。我的问题是文件开始变得很重，我想提高压缩级别，因为压缩时间不是问题。我在rubyzipdocumentation中找不到一种为创建的ZIP文件指定压缩级别的方法。有人知道如何更改此设置吗？是否有另一个允许指定压缩级别的Ruby库？ 最佳答案 这是我通过查看ruby​​zip内部创建的代码。level=Zlib::BEST_COMPRESSIONZip::ZipOutputStream.open(zip_file)do|zip|Dir.glob("**/*")d

  2. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

  3. ruby - 解析 RDFa、微数据等的最佳方式是什么，使用统一的模式/词汇(例如 schema.org)存储和显示信息 - 2

    我主要使用Ruby来执行此操作，但到目前为止我的攻击计划如下:使用gemsrdf、rdf-rdfa和rdf-microdata或mida来解析给定任何URI的数据。我认为最好映射到像schema.org这样的统一模式，例如使用这个yaml文件，它试图描述数据词汇表和opengraph到schema.org之间的转换:#SchemaXtoschema.orgconversion#data-vocabularyDV:name:namestreet-address:streetAddressregion:addressRegionlocality:addressLocalityphoto:i

  4. ruby - 在 jRuby 中使用 'fork' 生成进程的替代方案？ - 2

    在MRIRuby中我可以这样做:deftransferinternal_server=self.init_serverpid=forkdointernal_server.runend#Maketheserverprocessrunindependently.Process.detach(pid)internal_client=self.init_client#Dootherstuffwithconnectingtointernal_server...internal_client.post('somedata')ensure#KillserverProcess.kill('KILL',

  5. ruby - 如何在续集中重新加载表模式？ - 2

    鉴于我有以下迁移:Sequel.migrationdoupdoalter_table:usersdoadd_column:is_admin,:default=>falseend#SequelrunsaDESCRIBEtablestatement,whenthemodelisloaded.#Atthispoint,itdoesnotknowthatusershaveais_adminflag.#Soitfails.@user=User.find(:email=>"admin@fancy-startup.example")@user.is_admin=true@user.save!ende

  6. ruby - 如何使用 Ruby aws/s3 Gem 生成安全 URL 以从 s3 下载文件 - 2

    我正在编写一个小脚本来定位aws存储桶中的特定文件，并创建一个临时验证的url以发送给同事。(理想情况下，这将创建类似于在控制台上右键单击存储桶中的文件并复制链接地址的结果)。我研究过回形针，它似乎不符合这个标准，但我可能只是不知道它的全部功能。我尝试了以下方法:defauthenticated_url(file_name,bucket)AWS::S3::S3Object.url_for(file_name,bucket,:secure=>true,:expires=>20*60)end产生这种类型的结果:...-1.amazonaws.com/file_path/file.zip.A

  7. ruby-on-rails - Ruby on Rails - 为文本区域和图片生成列 - 2

    我是Rails的新手，所以请原谅简单的问题。我正在为一家公司创建一个网站。那家公司想在网站上展示它的客户。我想让客户自己管理这个。我正在为“客户”生成一个表格，我想要的三列是:公司名称、公司描述和Logo。对于名称，我使用的是name:string但不确定如何在脚本/生成脚手架终端命令中最好地创建描述列(因为我打算将其设置为文本区域)和图片。我怀疑描述(我想成为一个文本区域)应该仍然是描述:字符串，然后以实际形式进行调整。不确定如何处理图片字段。那么……说来话长:我在脚手架命令中输入什么来生成描述和图片列？ 最佳答案 对于“文本”数

  8. ruby - 是否有用于序列化和反序列化各种格式的对象层次结构的模式？ - 2

    给定一个复杂的对象层次结构，幸运的是它不包含循环引用，我如何实现支持各种格式的序列化？我不是来讨论实际实现的。相反，我正在寻找可能会派上用场的设计模式提示。更准确地说:我正在使用Ruby，我想解析XML和JSON数据以构建复杂的对象层次结构。此外，应该可以将该层次结构序列化为JSON、XML和可能的HTML。我可以为此使用Builder模式吗？在任何提到的情况下，我都有某种结构化数据-无论是在内存中还是文本中-我想用它来构建其他东西。我认为将序列化逻辑与实际业务逻辑分开会很好，这样我以后就可以轻松支持多种XML格式。 最佳答案 我最

  9. ruby-on-rails - 如何生成传递一些自定义参数的 `link_to` URL？ - 2

    我正在使用RubyonRails3.0.9，我想生成一个传递一些自定义参数的link_toURL。也就是说，有一个articles_path(www.my_web_site_name.com/articles)我想生成如下内容:link_to'Samplelinktitle',...#HereIshouldimplementthecode#=>'http://www.my_web_site_name.com/articles?param1=value1¶m2=value2&...我如何编写link_to语句“alàRubyonRailsWay”以实现该目的？如果我想通过传递一些

  10. ruby-on-rails - 如何在 Rails 3 中创建自定义脚手架生成器？ - 2

    有这些railscast。http://railscasts.com/episodes/218-making-generators-in-rails-3有了这个，你就会知道如何创建样式表和脚手架生成器。http://railscasts.com/episodes/216-generators-in-rails-3通过这个，您可以了解如何添加一些文件来修改脚手架View。我想把两者结合起来。我想创建一个生成器，它也可以创建脚手架View。有点像RyanBates漂亮的生成器或web_app_themegem(https://github.com/pilu/web-app-theme)。我

随机推荐