1.版本选择elastic下载官方网址稳定版7.17.0、7.17.11.1注意事项所有组件都依赖jdk1.8+Elasticsearch、Logstash、Kibana版本需保持一致(这里演示版本version:7.17.0)ELK需部署在和被监控的服务同一套内网环境下。如有防火墙，需将ELK各个组件所用到的端口号一一加到防火墙安全策略中1.2版本下载例如选择7.17.0版本下载：elasticsearch:elasticsearch-7.17.0.tar.gzlogstash：logstash-7.17.0-linux-x86_64.tar.gzkibana：kibana-7.17.0-l
目录什么是Zookeeper？Zookeeper工作机制Zookeeper特点Zookeeper数据结构Zookeeper选举机制实验部署Zookeeper集群1.安装前准备安装JDK下载安装包2.安装Zookeeper修改配置文件拷贝配置好的Zookeeper配置文件到其他机器上在每个节点上创建数据目录和日志目录在每个节点的dataDir指定的目录下创建一个myid的文件配置Zookeeper启动脚本设置开机自启分别启动Zookeeper查看当前状态Kafka概述为什么需要消息队列（MQ）使用消息队列的好处消息队列的两种模式Kafka定义Kafka简介Kafka的特性Kafka系统架构部署k
写在前面本文看下elk的安装和简单配置，安装我们会尝试通过不同的方式来完成，也会介绍如何使用docker，docker-compose安装。1：安装es1.1：安装单实例下载es安装包在这里下载，下载后解压到某个目录，然后执行如下操作。创建es使用的用户groupaddelkuseradd-gelkelkchown-Relk:elk/opt/programchmod-R755/opt/program因为es不允许使用root账号启动，所以需要新建账号，并且到该账号。启动注意：执行该步骤前不要使用root启动，不然后续会有文件权限问题，如果已经启动报了权限问题，则可重新执行:chown-Relk
ELK集群搭建(基础教程)目录：机器准备集群内各台机器安装Elasticsearch安装部署Kafka（注：每个节点都配置，注意ip不同）安装logstash工具安装filebeatELK收集Nginx的json日志ELK收集Nginx正常日志和错误日志ELK收集Tomcat日志ELK收集docker日志配置filebeat收集单个docker日志modules日志收集使用redis作为缓存收集日志使用Kafka做缓存收集日志机器准备172.20.26.204 node01172.20.26.207 node02172.20.26.208 node03系统版本：CentOSLinuxre
目录Kafka概述为什么需要消息队列（MQ）使用消息队列的好处消息队列的两种模式Kafka定义Kafka简介Kafka的特性Kafka系统架构在zookeeper集群的基础上部署kafka集群部署zookeeper集群部署kafka集群下载安装包 安装KafkaKafka命令行操作Kafka架构深入Kafka工作流程及文件存储机制数据可靠性保证数据一致性问题ack应答机制部署Filebeat+Kafka+ELK集群部署Zookeeper+Kafka集群部署Filebeat,并添加开启httpd服务部署ELK，在Logstash组件所在节点上新建一个Logstash配置文件Kafka概述为什么需
一、基础环境（node1和node24G内存，apache1G内存）最低配置IP地址主机名所用源码包192.168.10.128node1elasticsearch-5.5.0.rpmnode-v8.2.1.tar.gzphantomjs-2.1.1-linux-x86_64.tar.bz2elasticsearch-head.tar.gzkibana-5.5.1-x86_64.rpm192.168.10.129node2elasticsearch-5.5.0.rpm192.168.10.130apachelogstash-5.5.1.rpm二.案例需求配置ELK日志分析群集。使用Logs
目录一、前言二、为什么需要ELK三、ELK介绍3.1什么是elk3.2elk工作原理四、ELK环境搭建4.1搭建es环境4.1.1获取es镜像4.1.2启动es容器2.1.3配置es参数2.1.4重启es容器并访问4.2搭建kibana4.2.1拉取kibana镜像4.2.2启动kibana容器4.2.3修改配置文件4.2.4重启容器并访问4.3搭建logstash4.3.1下载安装包4.3.2解压安装包4.3.3新增配置logstash文件五、SpringBoot集成ELK5.1集成过程5.1.1创建springboot工程5.1.2导入依赖5.1.3配置logback日志5.1.4增加测试
正文：ELK日志收集平台部署Kafka和zookeeper简介Kafka：数据缓冲队列。作为消息队列解耦合处理过程，同时提高了可扩展性。具有峰值处理能力，使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。Kafka的特性:高吞吐量：kafka每秒可以处理几十万条消
一、创建挂载目录mkdir-p/docker/elk/elasticsearch/{plugins,data}mkdir-p/docker/elk/logstash二、给目录授权chmod777/docker/elk/elasticsearch/data创建logstash配置文件vim/docker/elk/logstash/logstash.confinput{tcp{mode=>"server"host=>"0.0.0.0"port=>4560codec=>json_lines}}output{elasticsearch{hosts=>"es:9200"index=>"logstash-
kafka3.4.1elk+filebeat+kafka实现日志收集httpd1mysql1topic2.73.0关闭防火墙systemctlstopfirewalldsystemctldisablefirewalldsetenforce0安装JDKyuminstall-yjava-1.8.0-openjdkjava-1.8.0-openjdk-develjava-version安装Zookeepercd/opttar-zxvfapache-zookeeper-3.5.7-bin.tar.gzmvapache-zookeeper-3.5.7-bin/opt/zookeeper修改配置文件cd/
