来源：https://cloud.tencent.com/developer/article/2115373最近客户有个新需求，就是想查看网站的访问情况，由于网站没有做google的统计和百度的统计，所以访问情况，只能通过日志查看，通过脚本的形式给客户导出也不太实际，给客户写个简单的页面，咱也做不到成熟的日志解决方案，那就是ELK，还有现在比较火的Loki，（当然还有很多其他解决方案，比如Splunk、Datadog等），那我们这个小网站，小体量，必然是选择Loki来做。所以这次就采用Nginx+Promtail+Loki+Grafana来做一个简单的Nginx日志展示Nginx的安装不多说，
1、组件介绍1、Elasticsearch： 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。2、Logstash: 主要是用来日志的搜集、分析、过滤日志的工具。用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等。3、Kibana: 是一个优秀
在当前分布式、微服务架构下，各个应用都部署在不同的服务器上，每个应用都在记录着自己重要或者不重要的日志信息。当我们要通过日志信息来排查错误时，可以根据出错应用在对应的机器上找报错相关的日志信息。但是，可能我们不具有相应服务器的访问权限，也可能相同的应用部署在多台服务器上，导致根本不知道在哪台服务器上找日志。遇到类似这样的尴尬，想要通过日志来排查错误就搞得很麻烦。在这种情况下，ELK为我们提供了统一的日志管理解决方案，它能很好的支持Logback等日志框架，使得我们可以集中的管理不同应用输出的日志信息。ELK是ElasticSearch、Logstash和Kibana的简写。ElasticSea
【ELK】系列入门教程一，边学遍记之Elasticsearch入门与使用教程一、Elasticsearch介绍二、安装并运行1、Windows安装2、Docker安装三、确认安装成功四、使用Elasticsearch1、数据结构2、索引Index2、类型Type3、文档内容Document五、安全认证六、更多姿势请自行学习一、Elasticsearch介绍本人学习过程中使用了多个版本，高版本与低版本之间区别还是有的，像高版本默认开启https，安全认证等等。来看教程又不是读小说的，略略略有兴趣自己去看官网Elasticsearch中文文档Elastic官网Elastic文档可以的话，中文文档先
场景：与redis作为缓存服务器相比，虽然利用redis可以实现elasticsearch缓存功能,减轻elasticsearch的压力,但不支持的redis集群，存在单点问题，故利用kafka代替redis，且支持kafka集群，消除单点故障隐患，同时利用kafka缓存日志数据，解决应用解耦，异步消息，流量削锋等问题大致流程：将nginx服务器（web-filebeat）的日志通过filebeat收集之后，存储到缓存服务器kafka，之后logstash到kafka服务器上取出相应日志，经过处理后写入到elasticsearch服务器并在kibala上展示。官方文档：https://www.
一、ELK+Filebeat+kafka+zookeeper架构架构图分别演示第一层：数据采集层数据采集层位于最左边的业务服务集群上，在每个业务服务器上面安装了filebead做日志收集，然后把采集到的原始日志发送到kafka+zookeeper集群上。第二层：消息队列层原始日志发送到kafka+zookeeper集群上后，会进行集中存储，此时filebead是消息的生产者，存储的消息可以随时被消费。第三层：数据分析层logstash作为消费者，回去kafka+zookeeper集群节点时实拉去原始日志，然后将获取到的原始日志根据规则进行分析、格式化处理，最后将格式化的日志转发至Elastic
docker部署elk并开启ssl认证docker-compose部署elk部署所需yml文件——docker-compose-elk.yml部署配置elasticsearch和kibana并开启ssl配置基础数据认证配置elasticsearch和kibana开启https访问配置logstash创建springboot项目进行测试kibana创建视图，查询日志docker-compose部署elk部署所需yml文件——docker-compose-elk.ymlversion:'3.7'services:elasticsearch:image:elasticsearch:8.9.0cont
dockeres单点启动命令dockerrun-d--namees\--restart=always\-e"ES_JAVA_OPTS=-Xms512m-Xmx512m"\-e"discovery.type=single-node"\-v/etc/localtime:/etc/localtime:ro\-v/home/docker_data/elasticsearch/config:/usr/share/elasticsearch/config\-v/home/docker_data/elasticsearch/data:/usr/share/elasticsearch/data\-v/home
ELK的安装与使用安装部署部署环境：Elasticsearch-7.17.3Logstash-7.17.3Kibana-7.17.3一、安装部署Elasticsearch解压目录，进入conf目录下编辑elasticsearch.yml文件，输入以下内容并保存network.host:127.0.0.1http.port:9200#跨域配置http.cors.enabled:truehttp.cors.allow-origin:"*"3.进入bin目录，点击elasticsearch.bat文件启动项目二、安装部署Logstash文件配置在conf目录下新建logstash.confinput
EFLKK一、Zookeeper1.1简介1.2zookeeper的作用1.3Zookeeper的特点1.5Zookeeper的数据结构1.6Zookeeper的应用场景1.7Zookeeper的选举机制（重要）1.7.1第一次启动时1.7.2非第一次启动时二、Zookeeper集群部署2.1安装前准备2.2安装ZookeeperStep1解压代码包Step2修改配置文件Step3创建相关目录和文件Step4编写Zookeeper启动脚本Step5启动ZK，查看状态三、消息队列3.1为什么要用消息队列？3.2中间件3.3使用消息队列的好处3.4消息队列的两种模式3.4.1点对点模式3.4.2发
