前言为什么需要引进这个ELK日志采集系统呢？在我管理团队的时候，部门还是比较齐全的，运维、测试、前端、后端都是具备的，在没有运维的时候，后端开发是有服务器全部权限的，完全可以直接操作服务器的，可以部署、配置、查看日志等等操作，后来运维部门建立之后，运维部门就全权负责了公司所有的组件平台，比如Gitlab、Nexus、SVN、禅道、Jenkins等等，不过这些大多数都是我搭建(在运维没成立之前)，因为后端开发主要还是写服务接口为主要工作，对运维方面的工作也只能说是半吊子，论起专业肯定没有运维人员来得直接，所以开发也就丧失了很多权利，比如：自定义代理、自定义中间件配置等等，这些都需要跟运维解释清楚
项目需要，记录一次ELK日志分析系统无坑初始安装过程，并给大家整理出了操作elasticsearch的主要命令，elasticsearch！伙伴们都懂得哦！别的不多说，看过内容概览，直接开整！！！一、系统调优 1-1修改/etc/security/limits.conflimits.conf文件限制着用户可以使用的最大文件数，最大线程，最大内存等资源使用量，在最后追加内容： *hardnofile65535 #*允许es启动用户*softnofile65535es-nproc4096 #es可以当启动用户启动用户说明：soft是一个警告值，而hard则是一个真正意义的阀值
项目需要，记录一次ELK日志分析系统无坑初始安装过程，并给大家整理出了操作elasticsearch的主要命令，elasticsearch！伙伴们都懂得哦！别的不多说，看过内容概览，直接开整！！！一、系统调优 1-1修改/etc/security/limits.conflimits.conf文件限制着用户可以使用的最大文件数，最大线程，最大内存等资源使用量，在最后追加内容： *hardnofile65535 #*允许es启动用户*softnofile65535es-nproc4096 #es可以当启动用户启动用户说明：soft是一个警告值，而hard则是一个真正意义的阀值
一、简介1.ELK日志分析系统简介ELK日志分析系统是Elasticsearch、logstash与Kibana开源软件的集合，对外作为一个日志管理系统的开源方案。它可以进行日志搜索、分析与可视化展示。1.1ELK集群的组成Elasticsearch：Elasticsearch是一个高度可扩展的全文搜索和分析引擎，能够对大容量的数据进行接近实时的存储、搜索和分析操作。Logstash：Logstash是一个开源的用于收集、分析和存储日志的工具。Kibana：Kibana是一个数据分析和可视化平台，通常与Elasticsearch配合使用，用于对其中的数据进行搜索、分析，并且以统计图标的形式展示
一、简介1.ELK日志分析系统简介ELK日志分析系统是Elasticsearch、logstash与Kibana开源软件的集合，对外作为一个日志管理系统的开源方案。它可以进行日志搜索、分析与可视化展示。1.1ELK集群的组成Elasticsearch：Elasticsearch是一个高度可扩展的全文搜索和分析引擎，能够对大容量的数据进行接近实时的存储、搜索和分析操作。Logstash：Logstash是一个开源的用于收集、分析和存储日志的工具。Kibana：Kibana是一个数据分析和可视化平台，通常与Elasticsearch配合使用，用于对其中的数据进行搜索、分析，并且以统计图标的形式展示
1、对应版本kibana8.4.3的安装2、IK分词器8.4.3的安装3、Logstash-8.4.3的安装一、docker安装elasticsearch8.4.31、创建本地挂在目录sudomkdir-p/usr/local/docker/elasticsearch/config#指定该挂载目录用于持久化es保存的数据sudomkdir-p/usr/local/docker/elasticsearch/datasudomkdir-p/usr/local/docker/elasticsearch/pluginssudomkdir-p/usr/local/docker/elasticsearch
1、对应版本kibana8.4.3的安装2、IK分词器8.4.3的安装3、Logstash-8.4.3的安装一、docker安装elasticsearch8.4.31、创建本地挂在目录sudomkdir-p/usr/local/docker/elasticsearch/config#指定该挂载目录用于持久化es保存的数据sudomkdir-p/usr/local/docker/elasticsearch/datasudomkdir-p/usr/local/docker/elasticsearch/pluginssudomkdir-p/usr/local/docker/elasticsearch
文章目录写作背景ELK实战前置环境准备项目里集成Logstash进入Kibana查看日志写作背景前面我对SpringCloudNetflix相关的组件，Eureka、Ribbon、OpenFeign、Hystrix和Zuul都进行了复习，后面随着代码越写越多就想着，要不就慢慢完善这个项目代码，把工作里用到的东西慢慢在这个Demo级别的项目里用起来，也算是对自己掌握的知识的积累和一次练手的机会。本次就是在原来的基础上增加了日志模块，我当前所在公司看日志一般都是在SpringBootAdmin里，然后也有集成过ELK，在kibana里看日志。本文的写作思路是直接在原来项目里集成ELK实战演练。EL
文章目录写作背景ELK实战前置环境准备项目里集成Logstash进入Kibana查看日志写作背景前面我对SpringCloudNetflix相关的组件，Eureka、Ribbon、OpenFeign、Hystrix和Zuul都进行了复习，后面随着代码越写越多就想着，要不就慢慢完善这个项目代码，把工作里用到的东西慢慢在这个Demo级别的项目里用起来，也算是对自己掌握的知识的积累和一次练手的机会。本次就是在原来的基础上增加了日志模块，我当前所在公司看日志一般都是在SpringBootAdmin里，然后也有集成过ELK，在kibana里看日志。本文的写作思路是直接在原来项目里集成ELK实战演练。EL
文章目录一、ElasticSearch安装1.elasticsearch单节点安装2.elasticsearch分布式集群安装3.elasticsearch配置身份认证二、Elasticsearchcerebro展示工具安装三、Kibana安装四、Filebeat安装(EFK架构)1.Filebeat的基础使用：2.filebeat收集nginx2.1.安装nginx2.2.安装filebeat2.2.1.收集nginx原生日志，推送给es2.2.2.1.filebeat收集单个文件2.2.2.2.filebeat收集多个文件注意事项：2.2.2.3.kibana展示nginx日志2.2.2.
