之前在做cdn运维的时候，因为业务的特殊性（跨机房，跨ISP，跨区域），把日志集中传输到一个中心来做qos的分析不太现实，因此采用的方法是每5分钟对nginx日志进行切割，然后通过python程序计算httpcode的分布，并通过zabbix来实现单台机器nginxqos的监控，配合对zabbix数据库的lastvalue进行聚合，则可以监控整个cdn的流量，qos数据等，这样一般发现问题的延迟就在5分钟左右（cdn的qos敏感性不是很强）,配合rsync+hadoop+hive来计算nginx的日志，也可以得到更加详细的各个维度的分析（离线数据分析），下面贴下nginx日志使用的分析脚本：
