前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中的数据订阅一份到hdfs。一：安装logstash（下载tar包安装也行，我直接yum装了）#yum install logstash-2.1.1二：从github上克隆代码#git clone  h

摘要此篇主要讲Filter插件，已经对nginx日志的各种处理实例接着上篇继续说插件1，Filter插件Grok：正则捕获Date：时间处理Mutate：数据修改Geoip：查询归类JSON：编解码Grok：解析和结构化任何文本。http://grokdebug.herokuapp.com/patterns#    匹配规则,注意空格，如果空格不匹配也会报错http://grokdebug.herokuapp.com/             匹配检查，而且有语法提示Grok目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式，满足大

摘要此篇主要讲Filter插件，已经对nginx日志的各种处理实例接着上篇继续说插件1，Filter插件Grok：正则捕获Date：时间处理Mutate：数据修改Geoip：查询归类JSON：编解码Grok：解析和结构化任何文本。http://grokdebug.herokuapp.com/patterns#    匹配规则,注意空格，如果空格不匹配也会报错http://grokdebug.herokuapp.com/             匹配检查，而且有语法提示Grok目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式，满足大