草庐IT

使用Logstash过滤插件Grok自定义正则表达式模式并引用

使用过滤插件Grok自定义正则表达式模式并引用可以在样例数据:192.168.10.1GET/index.html198760.234中在增加一列,随便写点数字就可以。现在的样例数据为:192.168.10.1GET/index.html198760.23452767我们使用自定义的正则表达式模式来匹配数最后一列,前面五列照样使用内置模式来匹配。将自定义的正则表达式写入到一个文件中,然后在grok中引用这个文件。1)首先在kibana上调试增加一个正则模式模式名称就叫ID表达式为[0-9]{3,6}$,表示匹配0-9任意数字,且满足至少3位但不能超过6位,最多6位就是结尾,否则就匹配不上。2)

使用Logstash过滤插件Grok的内置正则实现日志数据格式化

使用过滤插件Grok的内置正则实现日志数据格式化格式化之前的日志内容192.168.10.1GET/index.html198760.234一条nginx的日志内容,第一列是客户端IP,第二列是请求方式,第三列是请求的URL,第四列是请求的文件大小,第五列是响应时间,如果这条数据不进行格式化,我们是无法针对性的去匹配相应的日志内容,比如想统计出响应时间比较长的页面,我们就需要去筛选第五列了,但是日志不进行格式化,就无法针对第五列去做筛选。kibana上可以针对grok的表达式进行调试点击Management—>开发工具—>grokdebugger1)在kibana上使用grok正则调试格式化日