文章目录前言一、ELK简介1.ELK日志分析系统组成1.1Elasticsearch（es）1.2Logstash1.3Kibana2.日志处理步骤二、Elasticsearch1.Elasticsearch概述2.Elasticsearch核心概念2.1接近实时（NRT）2.2集群（cluster）2.3节点（node）2.4索引（index）2.5类型（type）2.6文档（document）2.7分片和副本三、Logstash详解1.Logstash的主要组件四、Kibana详解1.Kibana简介2.Kibana主要功能五、ELK架构六、ELK优点前言随着业务量的增长，每天业务服务器将

by:linshao前述：        mysql由于锁机制等等对于大量数据里查找某几条的操作是非常耗时的，索引虽然能大大加快查询的速度，但是需要新增一些内存用于存放索引，        ELK是一款主流的日志平台架构，分布式，毫秒级响应的特性适用于大量数据的筛查,支持api接口访问,但是其缺点在于会使用源文件约2.5倍的空间（以空间换时间了）目录：        1.什么是ELK        2.简单的ELK架构        3.部署安装1.什么是ELK：ELK不是一款软件，而是Elasticsearch、Logstash和Kibana三种软件产品的首字母缩写。这三者都是开源软件，通常

by:linshao前述：        mysql由于锁机制等等对于大量数据里查找某几条的操作是非常耗时的，索引虽然能大大加快查询的速度，但是需要新增一些内存用于存放索引，        ELK是一款主流的日志平台架构，分布式，毫秒级响应的特性适用于大量数据的筛查,支持api接口访问,但是其缺点在于会使用源文件约2.5倍的空间（以空间换时间了）目录：        1.什么是ELK        2.简单的ELK架构        3.部署安装1.什么是ELK：ELK不是一款软件，而是Elasticsearch、Logstash和Kibana三种软件产品的首字母缩写。这三者都是开源软件，通常

搭建环境ELK入门一、下载ELK二、布置java环境三、启动ELK1.启动Elasticsearch2.启动Kibana3.配置logstashlogfile.conf运行logstash基本环境搭建完成ELK入门参考ELK入门一、下载ELK链接：https://www.aliyundrive.com/s/dmktxyrkDSk提取码:i76p官网下载特别满，需要vpn加速，这里提供下载好的ELK8.2.3，与7.5.0两个版本通过阿里云网盘下载，不限速下载后直接解压就能使用，无需安装这里以ELK7.5.0,java11举例二、布置java环境因为ELK需要用到java环境，上面ELK版本文件

搭建环境ELK入门一、下载ELK二、布置java环境三、启动ELK1.启动Elasticsearch2.启动Kibana3.配置logstashlogfile.conf运行logstash基本环境搭建完成ELK入门参考ELK入门一、下载ELK链接：https://www.aliyundrive.com/s/dmktxyrkDSk提取码:i76p官网下载特别满，需要vpn加速，这里提供下载好的ELK8.2.3，与7.5.0两个版本通过阿里云网盘下载，不限速下载后直接解压就能使用，无需安装这里以ELK7.5.0,java11举例二、布置java环境因为ELK需要用到java环境，上面ELK版本文件

引用博文：https://blog.csdn.net/qq_22648091/article/details/114140816侵权联删Ansible服务部署-部署ELK集群服务​创建三台云主机分别命名为elk01、elk02和elk03，Ansible主机可以使用上一题的环境。要求Ansible节点编写剧本，执行Ansible剧本可以在这三个节点部署ELK集群服务（在/root目录下创建install_elk目录作为ansible工作目录，部署的入口文件命名为install_elk.yaml）。具体要求为三个节点均安装Elasticserach服务并配置为Elasticserach集群；ki

引用博文：https://blog.csdn.net/qq_22648091/article/details/114140816侵权联删Ansible服务部署-部署ELK集群服务​创建三台云主机分别命名为elk01、elk02和elk03，Ansible主机可以使用上一题的环境。要求Ansible节点编写剧本，执行Ansible剧本可以在这三个节点部署ELK集群服务（在/root目录下创建install_elk目录作为ansible工作目录，部署的入口文件命名为install_elk.yaml）。具体要求为三个节点均安装Elasticserach服务并配置为Elasticserach集群；ki

前言为什么需要引进这个ELK日志采集系统呢？在我管理团队的时候，部门还是比较齐全的，运维、测试、前端、后端都是具备的，在没有运维的时候，后端开发是有服务器全部权限的，完全可以直接操作服务器的，可以部署、配置、查看日志等等操作，后来运维部门建立之后，运维部门就全权负责了公司所有的组件平台，比如Gitlab、Nexus、SVN、禅道、Jenkins等等，不过这些大多数都是我搭建(在运维没成立之前)，因为后端开发主要还是写服务接口为主要工作，对运维方面的工作也只能说是半吊子，论起专业肯定没有运维人员来得直接，所以开发也就丧失了很多权利，比如：自定义代理、自定义中间件配置等等，这些都需要跟运维解释清楚

前言为什么需要引进这个ELK日志采集系统呢？在我管理团队的时候，部门还是比较齐全的，运维、测试、前端、后端都是具备的，在没有运维的时候，后端开发是有服务器全部权限的，完全可以直接操作服务器的，可以部署、配置、查看日志等等操作，后来运维部门建立之后，运维部门就全权负责了公司所有的组件平台，比如Gitlab、Nexus、SVN、禅道、Jenkins等等，不过这些大多数都是我搭建(在运维没成立之前)，因为后端开发主要还是写服务接口为主要工作，对运维方面的工作也只能说是半吊子，论起专业肯定没有运维人员来得直接，所以开发也就丧失了很多权利，比如：自定义代理、自定义中间件配置等等，这些都需要跟运维解释清楚

        项目需要，记录一次ELK日志分析系统无坑初始安装过程，并给大家整理出了操作elasticsearch的主要命令，elasticsearch！伙伴们都懂得哦！别的不多说，看过内容概览，直接开整！！！一、系统调优 1-1修改/etc/security/limits.conflimits.conf文件限制着用户可以使用的最大文件数，最大线程，最大内存等资源使用量，在最后追加内容： *hardnofile65535 #*允许es启动用户*softnofile65535es-nproc4096    #es可以当启动用户启动用户说明：soft是一个警告值，而hard则是一个真正意义的阀值