前言工欲善其事，必先利其器。本文主要分享一下消息中间件kafka安装部署的过程，以及我平时在工作中针对kafka用的一些客户端工具和监控工具。kafka部署架构一个kafka集群由多个kafkabroker组成，每个broker将自己的元数据信息注册到zookeeper中，通过zookeeper关联形成一个集群。prettyZoo客户端既然kafka依赖zookeeper，我难免就需要看看zookeeper中究竟存储了kafka的哪些数据，这边介绍一款高颜值的客户端工具prettyZoo。PrettyZoo是一款基于ApacheCurator 和 JavaFX 实现的 Zookeeper 图形
Monitor监控架构采集器TelegrafExportersGrafana-AgentCategraf时序库OpenTSDBInfluxDBTDEngineM3DBVictoriaMetricsTimescaleDB告警引擎数据展示采集器:负责采集监控数据的，采集到数据之后传输给服务端，通常是直接写入时序库对时序库的数据:分析部分:告警规则判断,并进行通知可视化:通过各种图表来合理地渲染各类监控数据采集器采集器：负责采集监控数据采集器的部署方式:跟随监控对象部署，如:所有的机器上都部署一个采集器，采集机器的CPU、内存、硬盘、IO、网络相关的指标远程探针式，如:选取一个中心机器做探针，同时探
一：简介解决高吞吐量项目的需求是一款为大数据而生的消息中间件，具有百亿级tps的吞吐量，在数据采集、传输、存储的过程中发挥着作用二：为什么要使用消息队列一个普通访问量的接口和一个大并发的接口，它们背后的设计逻辑是不同的同步的通信方式：-系统开销（响应时间）较大-在同步的过程中要保证每个服务都顺利执行完，整个链路才执行完，因为网络等问题，整个链路成功执行的成功率会受影响同步的通信方式存在性能和稳定性的问题异步的通信方式：-明显提升系统的吞吐量-即使有服务失败，也可以通过分布式事务解决方案来保证最终的成功相对于同步的通信方式，异步，可以让上游快速成功，极大提高系统的吞吐量。在分布式系统中，通过下游
springbootpom依赖导入dependency>groupId>org.springframework.boot/groupId>artifactId>spring-boot-starter-web/artifactId>/dependency>!--kafka-->dependency>groupId>org.springframework.kafka/groupId>artifactId>spring-kafka/artifactId>version>2.4.0.RELEASE/version>/dependency>!--logstash整合logback-->dependenc
启动与简单示例#命令行1#开启ZookeeperE:\>cdE:\kafka_2.13-3.6.0E:\kafka_2.13-3.6.0>bin\windows\zookeeper-server-start.batconfig\zookeeper.properties#命令行2#开启KafkaE:\>cdE:\kafka_2.13-3.6.0E:\kafka_2.13-3.6.0>bin\windows\kafka-server-start.batconfig\server.properties#命令行3#创建主题E:\kafka_2.13-3.6.0\bin\windows>kafka-to
目录一ack应答机制 二ISR集合一ack应答机制 kafka为用户提供了三种应答级别： all，leader，0acks：0 这一操作提供了一个最低的延迟，partition的leader接收到消息还没有写入磁盘就已经返回ack，当leader故障时有可能丢失数据； 生产者发送完消息后不会等待到broker的任何确认消息，这种方式虽然效率提升但是它的可靠性大大降低；acks：1（leader） partition的leader落盘成功后返回ack，如果在follower同步成功之前leader故障，尽管leader已经落盘成功，但是follow
目录1、简介1.1、Kafka集群中的节点类型1.2、两重模式的搭建方式2、Zookeeper模式集群3、KRaft模式集群4、重要配置介绍4.1、listeners4.2、advertise.listeners4.3、process.roles4.4、controller.quorum.voters4.5、其它配置1、简介Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式（即无Zookeeper）模式这两种模式搭建集群，这两种模式各有各
问题怎样使用Kafka官方生产者和消费者脚本进行消费生产和消费?这里假设已经下载了kafka官方文件,并已经解压.生产者配置文件producer_hr.propertiesbootstrap.servers=10.xx.xx.xxx:9092,10.xx.xx.xxx:9092,10.xx.xx.xxx:9092compression.type=nonesecurity.protocol=SASL_PLAINTEXTsasl.mechanism=SCRAM-SHA-256sasl.jaas.config=org.apache.kafka.common.security.scram.ScramL
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，kafka部署包“kafka_2.13-3.6.0”前面的2.13就是scala的版本1、Kafka的使用场景日志收集：一个公司可以用Kafka收集各种服务的log，通过kafka以统一接口服务的方式开放给各种cons
目录1.Kafka简介2.安装Kafka2.1安装JDK2.2下载、解压Kafka2.3启动Kafka1. Zookeeper模式启动2.KRaft模式启动3.Kafka常用命令3.1Kafka服务命令1.启动kakfa2.关闭kafka3.2Topic常用命令1.查看Topic列表2.新建Topic3.查看Topic信息4.修改Topic信息5.删除Topic3.3生产者常用命令1.发送信息3.4消费者常用命令1.消费消息（从最新的地方开始）2.消费消息（从头开始）3.消费消息（指定相同组）4.消费消息（指定不同组）3.5消费者Group常用命令1.指定消费者Group2.查看消费者Grou
