Filebeat部署+Kafka接收消息一、下载与解压Filebeat1.Filebeat官方下载地址：https://www.elastic.co/cn/downloads/past-releases#filebeat我下的是7.12版本,链接:link2.上传压缩包解压并重命名文件夹tar-zxvffilebeat-7.12.0-linux-x86_64.tar.gzmvfilebeat-7.12.0-linux-x86_64filebeathome是用户目录，个人习惯放在这个，你们也可以放在别的目录里。二、配置Filebeat修改filebeat配置文件，把filebeat收集到的日志保
一、前言日志主要包括系统日志和应用程序日志，运维和开发人员可以通过日志了解服务器中软硬件的信息，检查应用程序或系统的故障，了解故障出现的原因，以便解决问题。分析日志可以更清楚的了解服务器的状态和系统安全状况，从而可以维护服务器稳定运行。二、ELK简介ELK主要由ElasticSearch、Logstash和Kibana三个开源工具组成，还有其他专门由于收集数据的轻量型数据采集器Beats。Elasticsearch：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch是用Java基于Lucene开发，现在使用最
一、前言日志主要包括系统日志和应用程序日志，运维和开发人员可以通过日志了解服务器中软硬件的信息，检查应用程序或系统的故障，了解故障出现的原因，以便解决问题。分析日志可以更清楚的了解服务器的状态和系统安全状况，从而可以维护服务器稳定运行。二、ELK简介ELK主要由ElasticSearch、Logstash和Kibana三个开源工具组成，还有其他专门由于收集数据的轻量型数据采集器Beats。Elasticsearch：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch是用Java基于Lucene开发，现在使用最
说明：此安装流程只适用于8.0.0以下的版本1.ElasticSearch部署1.1下载ElasticSearch的wget指令：wgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.4-linux-x86_64.tar.gz1.2解压安装包到指定目录指定解压缩到/usr/local目录下tar-zxvfelasticsearch-7.13.4-linux-x86_64.tar.gz-C/usr/local1.3修改配置文件（1）elasticsearch.yml#集群名称cluster.name
部署前提：1、完成K8S集群搭建，搭建参考：基于ECS云主机搭建k8s集群-详细过程_Soft_Engneer的博客-CSDN博客Kubernetes集群详细部署过程，K8s避坑记录，快速搭建环境并把主要时间花在专注k8s的学习上https://blog.csdn.net/Soft_Engneer/article/details/124517916?spm=1001.2014.3001.55022、完成GlusterFS共享存储部署，搭建参考：CentOS安装GlusterFS_Soft_Engneer的博客-CSDN博客glusterfs部署及测试https://blog.csdn.net/
部署前提：1、完成K8S集群搭建，搭建参考：基于ECS云主机搭建k8s集群-详细过程_Soft_Engneer的博客-CSDN博客Kubernetes集群详细部署过程，K8s避坑记录，快速搭建环境并把主要时间花在专注k8s的学习上https://blog.csdn.net/Soft_Engneer/article/details/124517916?spm=1001.2014.3001.55022、完成GlusterFS共享存储部署，搭建参考：CentOS安装GlusterFS_Soft_Engneer的博客-CSDN博客glusterfs部署及测试https://blog.csdn.net/
引言当Filebeat作为日志采集的agent铺开时，对其自身agent的监控以确保稳定就尤为的重要，有几种方式监控agent运行。第一种filebeat自己将监控埋点上报第二种filebeat暴露埋点接口，另外一个agent定时采集后上报第二种能够监测filebeat的进程状况，例如官方提供的Metricbeat，也可以自己实现agent上报监控指标。本文就其如何监控Filebeat以及指标含义进行梳理，主要内容有：一、filebeat日志采集原理二、filebeat暴露endpoint三、beat监控指标四、filebeat监控指标五、libbeat监控指标六、监控指标完整示例一、file
kafka常用命令查看所有topic./kafka-topics.sh--zookeeper10.1.10.163:2181--list查看kafka中指定topic的详情./kafka-topics.sh--zookeeper10.1.10.163:2181--topicai_jl_analytic--describe查看消费者consumer的group列表./kafka-consumer-groups.sh--bootstrap-server10.1.10.163:9092--list创建topic./kafka-topics.sh--create--zookeeper10.1.10.1
filebeat的服务启停filebeat的启动通过二进制文件来实现，如：./filebeat-e-cfilebeat.yml.注：-e指定filebeat.yml配置文件实现后台启动可以通过nohup命令实现，如：nohup./filebeat-e-cfilebeat.yml>/dev/null2>&1&)注：将所有标准输出及标准错误输出到/dev/null空设备，即没有任何输出但filebeat的进程依赖会话，当启动filebeat的ssh断开后，filebeat会自动停止，所以要使用特殊命令保证filebeat的运行，如下：(nohup./filebeat-e-cfilebeat.yml
方式有很多，以下是我学习中自己写的。要被采集的日志：{"time":"2023-02-07T10:11:20+08:00","type":"info","msg":"{\"business\":\"elk\",\"module\":\"demo\",\"action\":\"test\",\"level\":\"info\",\"date\":\"2023-02-0710:11:20\",\"second\":\"0.899408\",\"data\":{\"id\":233,\"name\":\"张三\",\"gender\":24,\"phone\":13511112222}}"}[202
