前言去年公司由于不断发展，内部自研系统越来越多，所以后来搭建了一个日志收集平台，并将日志收集功能以二方包形式引入自研系统，避免每个自研系统都要建立一套自己的日志模块，节约了开发时间，管理起来也更加容易。这篇文章主要介绍ELK最新版本的搭建，二方包的介绍可以看小霸王的另外一篇文章。ELK介绍Elasticsearch是一个分布式、Restful风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为ElasticStack的核心，Elasticsearch会集中存储您的数据，让您飞快完成搜索，并对数据进行强大的分析。Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，
有时为了日志解耦，通常不把日志打到文件，而是直接打到kafka，而为了分析日志，我们可以通过sidecar的方式，把日志从kafka写入到es里，而通过kibana对日志进行分析。我的k8s-fluentd的相关文章k8s~部署EFK框架k8s~为服务添加sidecar边斗k8s~fluentd的configmap设置es索引前缀ELK~fluentd多行日志的收集使用docker的镜像lypgcs/fluentd-es-kafka:v1.3.2fluent.conf配置可以添加configMap，扩展性更好，下面说一下配置的含义名称是fluentd-config，内部文件名是fluent.c
有时为了日志解耦，通常不把日志打到文件，而是直接打到kafka，而为了分析日志，我们可以通过sidecar的方式，把日志从kafka写入到es里，而通过kibana对日志进行分析。我的k8s-fluentd的相关文章k8s~部署EFK框架k8s~为服务添加sidecar边斗k8s~fluentd的configmap设置es索引前缀ELK~fluentd多行日志的收集使用docker的镜像lypgcs/fluentd-es-kafka:v1.3.2fluent.conf配置可以添加configMap，扩展性更好，下面说一下配置的含义名称是fluentd-config，内部文件名是fluent.c
1ELK与ZABBIX有什么关系?ELK大家应该比较熟悉了，zabbix应该也不陌生，那么将ELK和zabbix放到一起的话，可能大家就有疑问了?这两个放到一起是什么目的呢，听我细细道来ELK是一套日志收集套件，它其实由Elasticsearch、Logstash和Kibana三个软件组成，通过ELK可以收集系统日志、网站日志、应用系统日志等各种日志数据，并且还可以对日志进行过滤、清洗，然后进行集中存放并可用于实时检索、分析。这是ELK的基础功能。但是有些时候，我们希望在收集日志的时候，能够将日志中的异常信息(警告、错误、失败等信息)及时的提取出来，因为日志中的异常信息意味着操作系统、应用程序
1ELK与ZABBIX有什么关系?ELK大家应该比较熟悉了，zabbix应该也不陌生，那么将ELK和zabbix放到一起的话，可能大家就有疑问了?这两个放到一起是什么目的呢，听我细细道来ELK是一套日志收集套件，它其实由Elasticsearch、Logstash和Kibana三个软件组成，通过ELK可以收集系统日志、网站日志、应用系统日志等各种日志数据，并且还可以对日志进行过滤、清洗，然后进行集中存放并可用于实时检索、分析。这是ELK的基础功能。但是有些时候，我们希望在收集日志的时候，能够将日志中的异常信息(警告、错误、失败等信息)及时的提取出来，因为日志中的异常信息意味着操作系统、应用程序
一、前言在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash。在思考，同步完怎么查看呢，这时Kibana映入眼帘，可视化的界面，让使用更加的得心应手哈！！这就是三剑客ELK。不过大多时候都是进行日志采集的，小编没有用，只是用来解决一个表的数据量大，查询慢的！后面小编在专门搭建日志采集的ELK。二、三者介绍1、ElasticsearchElasticsearch是一个分布式、RESTfu
一、前言在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash。在思考，同步完怎么查看呢，这时Kibana映入眼帘，可视化的界面，让使用更加的得心应手哈！！这就是三剑客ELK。不过大多时候都是进行日志采集的，小编没有用，只是用来解决一个表的数据量大，查询慢的！后面小编在专门搭建日志采集的ELK。二、三者介绍1、ElasticsearchElasticsearch是一个分布式、RESTfu
一、前言在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash。在思考，同步完怎么查看呢，这时Kibana映入眼帘，可视化的界面，让使用更加的得心应手哈！！这就是三剑客ELK。不过大多时候都是进行日志采集的，小编没有用，只是用来解决一个表的数据量大，查询慢的！后面小编在专门搭建日志采集的ELK。二、三者介绍1、ElasticsearchElasticsearch是一个分布式、RESTfu
一、前言在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash。在思考，同步完怎么查看呢，这时Kibana映入眼帘，可视化的界面，让使用更加的得心应手哈！！这就是三剑客ELK。不过大多时候都是进行日志采集的，小编没有用，只是用来解决一个表的数据量大，查询慢的！后面小编在专门搭建日志采集的ELK。二、三者介绍1、ElasticsearchElasticsearch是一个分布式、RESTfu
