启动与简单示例#命令行1#开启ZookeeperE:\>cdE:\kafka_2.13-3.6.0E:\kafka_2.13-3.6.0>bin\windows\zookeeper-server-start.batconfig\zookeeper.properties#命令行2#开启KafkaE:\>cdE:\kafka_2.13-3.6.0E:\kafka_2.13-3.6.0>bin\windows\kafka-server-start.batconfig\server.properties#命令行3#创建主题E:\kafka_2.13-3.6.0\bin\windows>kafka-to
目录一ack应答机制 二ISR集合一ack应答机制 kafka为用户提供了三种应答级别： all，leader，0acks：0 这一操作提供了一个最低的延迟，partition的leader接收到消息还没有写入磁盘就已经返回ack，当leader故障时有可能丢失数据； 生产者发送完消息后不会等待到broker的任何确认消息，这种方式虽然效率提升但是它的可靠性大大降低；acks：1（leader） partition的leader落盘成功后返回ack，如果在follower同步成功之前leader故障，尽管leader已经落盘成功，但是follow
目录1、简介1.1、Kafka集群中的节点类型1.2、两重模式的搭建方式2、Zookeeper模式集群3、KRaft模式集群4、重要配置介绍4.1、listeners4.2、advertise.listeners4.3、process.roles4.4、controller.quorum.voters4.5、其它配置1、简介Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式（即无Zookeeper）模式这两种模式搭建集群，这两种模式各有各
问题怎样使用Kafka官方生产者和消费者脚本进行消费生产和消费?这里假设已经下载了kafka官方文件,并已经解压.生产者配置文件producer_hr.propertiesbootstrap.servers=10.xx.xx.xxx:9092,10.xx.xx.xxx:9092,10.xx.xx.xxx:9092compression.type=nonesecurity.protocol=SASL_PLAINTEXTsasl.mechanism=SCRAM-SHA-256sasl.jaas.config=org.apache.kafka.common.security.scram.ScramL
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，kafka部署包“kafka_2.13-3.6.0”前面的2.13就是scala的版本1、Kafka的使用场景日志收集：一个公司可以用Kafka收集各种服务的log，通过kafka以统一接口服务的方式开放给各种cons
什么是微服务，单体架构的优点和缺点，微服务架构的优点和缺点？单体架构优点：架构简单，维护成本低缺点：各个模块耦合度太高，当对一个模块进行更新修改时，会影响到其他模块，要一起进行修改。当存在性能瓶颈的时候，需要对整个服务进行扩容，不能有针对性的扩容，如一个程序的主要功能时其中某个服务，要对其增加机器，但因为是单体架构只有一个jar包，所以只能所有功能一起升级，哪怕某些服务所需的性能很低。微服务架构缺点：架构复杂，维护成本高，会带来很多微服务架构的问题，比如说事务问题、网络问题优点：性能高、服务之间耦合度低，服务可以并行开发，开发周期短分布式和微服务的区别。 分布式：分散部署分布式服务顾名思义服务
目录1.Kafka简介2.安装Kafka2.1安装JDK2.2下载、解压Kafka2.3启动Kafka1. Zookeeper模式启动2.KRaft模式启动3.Kafka常用命令3.1Kafka服务命令1.启动kakfa2.关闭kafka3.2Topic常用命令1.查看Topic列表2.新建Topic3.查看Topic信息4.修改Topic信息5.删除Topic3.3生产者常用命令1.发送信息3.4消费者常用命令1.消费消息（从最新的地方开始）2.消费消息（从头开始）3.消费消息（指定相同组）4.消费消息（指定不同组）3.5消费者Group常用命令1.指定消费者Group2.查看消费者Grou
1、组件介绍1、Elasticsearch： 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。2、Logstash: 主要是用来日志的搜集、分析、过滤日志的工具。用于管理日志和事件的工具，你可以用它去收集日志、转换日志、解析日志并将他们作为数据提供给其它模块调用，例如搜索、存储等。3、Kibana: 是一个优秀
Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理更新结果）、时态表、流上的join、流上的确定性以及查询配置16、Flink的tableapi与sql之连接外部系统:读写外部系统的连接器和格式以及FileSystem示例（1）16、Flink的ta
首先确保已经安装docker，如果是windows安装docker，可参考wsl2安装docker1、安装zkdockerrun-d--restart=always-eALLOW_ANONYMOUS_LOGIN=yes--log-driverjson-file--log-optmax-size=100m--log-optmax-file=2--namezookeeper-p2181:2181-v/etc/localtime:/etc/localtimebitnami/zookeeper:latest2、安装kafka注意：将192.168.xx.xx替换为你的主机IP即可dockerrun-d
