前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中的数据订阅一份到hdfs。一：安装logstash（下载tar包安装也行，我直接yum装了）#yum install logstash-2.1.1二：从github上克隆代码#git clone h
前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，积累到比较久的时间做半年、一年甚至更长时间的大数据分析。下面就来说如何最简单的通过logstash将kafka中的数据订阅一份到hdfs。一：安装logstash（下载tar包安装也行，我直接yum装了）#yum install logstash-2.1.1二：从github上克隆代码#git clone h
摘要此篇主要讲Filter插件，已经对nginx日志的各种处理实例接着上篇继续说插件1，Filter插件Grok：正则捕获Date：时间处理Mutate：数据修改Geoip：查询归类JSON：编解码Grok：解析和结构化任何文本。http://grokdebug.herokuapp.com/patterns# 匹配规则,注意空格，如果空格不匹配也会报错http://grokdebug.herokuapp.com/ 匹配检查，而且有语法提示Grok目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式，满足大
摘要此篇主要讲Filter插件，已经对nginx日志的各种处理实例接着上篇继续说插件1，Filter插件Grok：正则捕获Date：时间处理Mutate：数据修改Geoip：查询归类JSON：编解码Grok：解析和结构化任何文本。http://grokdebug.herokuapp.com/patterns# 匹配规则,注意空格，如果空格不匹配也会报错http://grokdebug.herokuapp.com/ 匹配检查，而且有语法提示Grok目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式，满足大
X-Forwarded-For是一个HTTP扩展头部。HTTP/1.1（RFC2616）协议并没有对它的定义，它最开始是由Squid这个缓存代理软件引入，用来表示HTTP请求端真实IP。如今它已经成为事实上的标准，被各大HTTP代理、负载均衡等转发服务广泛使用，并被写入RFC7239（ForwardedHTTPExtension）标准之中。X-Forwarded-For请求头格式非常简单，就这样：X-Forwarded-For:client,proxy1,proxy2可以看到，XFF的内容由「英文逗号+空格」隔开的多个部分组成，最开始的是离服务端最远的设备IP，然后是每一级代理设备的IP。如果
X-Forwarded-For是一个HTTP扩展头部。HTTP/1.1（RFC2616）协议并没有对它的定义，它最开始是由Squid这个缓存代理软件引入，用来表示HTTP请求端真实IP。如今它已经成为事实上的标准，被各大HTTP代理、负载均衡等转发服务广泛使用，并被写入RFC7239（ForwardedHTTPExtension）标准之中。X-Forwarded-For请求头格式非常简单，就这样：X-Forwarded-For:client,proxy1,proxy2可以看到，XFF的内容由「英文逗号+空格」隔开的多个部分组成，最开始的是离服务端最远的设备IP，然后是每一级代理设备的IP。如果
