定义：Kafka是一个分布式的基于发布/订阅默认的消息队列是一个开源的分布式事件流平台，被常用用于数据管道、流分析、数据集成、关键任务应用消费模式：点对点模式(少用)消费者主动拉取数据，消息收到后清除消息发布/订阅模式生产者推送消息到队列，都消费者订阅各自所需的消息基本概念：Producer：消息生产者Consumer：消费者Consumer：Group消费者组，消费者组id相同得消费者为一个消费者组；一个消费者也为一个消费者组去消费Broker：kafka服务器Topic：消息主题，数据分类Partition：分区，一个Tpoic有多个分区组成Replica：副本，每个分区对应多个副本Lea

我们知道，尽管FlinkCDC可以越过Kafka，将关系型数据库中的数据表直接“映射”成数据湖上的一张表（例如Hudi等），但从整体架构上考虑，维护一个Kafka集群作为数据接入的统一管道是非常必要的，这会带来很多收益。在FlinkCDC之前，以Debezium+KafkaConnect为代表的技术组合都是将数据库的CDC数据先接入到Kafka中，然后再由后续的组件解析和处理。引入FlinkCDC后，我们同样可以沿用这种架构，对于FlinkCDC来说，这只不过是将原来某种格式的Sink表改成了以Kafka为Connector的Sink表，改动及其微小。同时，FlinkCDC本身的架构和使用方式

理解Kafka正确使用方式Kafka提供了两套客户端API，HighLevelAPI和LowLevelAPI。HighLevelAPI封装了kafka的运行细节，使用起来比较简单，是企业开发过程中最常用的客户端API。LowLevelAPI则需要客户端自己管理Kafka的运行细节，Partition，Offset这些数据都由客户端自行管理。这层API功能更灵活，但是使用起来非常复杂，也更容易出错。只在极少数对性能要求非常极致的场景才会偶尔使用。基础的客户端引入Maven依赖： org.apache.kafkakafka_2.133.4.0消息发送者主流程publicclassMyProduce

目录概述主题和分区日志消息压缩日志分段条件日志清理多副本写入流程生产者必要参数配置消息的发送流程元数据更新重要的生产者参数消费者消费者组分区分配策略协调器重平衡触发方式流程如何避免rebalance位移提交消费者offset的存储broker集群控制器事务消息保障传输幂等性事务概述ApacheKafka是消息引擎系统，也是一个分布式流处理平台（DistributedStreamingPlatform）消息系统kafka和传统的消息系统（也称作消息中间件〉都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时，Kafka供了大多数消息系统难以实现的消息顺序性保障及回

前言分布式事务是要保证多个服务下的多个数据库操作的一致性。分布式事务常见解决方案有：二阶段、三阶段和TCC实现强一致性事务，其实还有一种广为人知的方案就是利用消息队列来实现分布式事务，保证数据的最终一致性，也就是我们常说的柔性事务。本次使用MQ+本地事务+消息校对的方式来实现分布式事务。案例描述有两张银行卡为bankcard1和bankcard2，且这两张银行卡存在于不同的服务中，bankcard1存在于payment服务中，专门用于转账支付，bankcard2存在于collection服务中，用于接收收款。下面为了方便讨论，将转账的payment服务记做主服务，收账的collection服务

 目录1、Kafka的四个角色解释2、Kafka与zookeeper的关系与环境搭建3、Kafka入门小案例4、Kafka分区机制4.1、Topic在分区下如何存储消息​4.2、消息的分区策略5、Kafka高可用设计方案5.1、集群5.2、备份机制(Replication)5.2.1、两种追随者6、生产者详解6.1、参数配置7、消费者详解7.1、消费者组​7.2、消息有序性​ 7.3、提交偏移量带来的问题及解决方案7.3.1、自动提交重复消费消息丢失7.3.2、手动提交同步提交 异步提交 同步加异步8、封装消息的方式1、Kafka的四个角色解释Kafka官网kafka官网：http://kaf

    scan.startup.mode是Flink中用于设置消费Kafkatopic数据的起始offset的配置参数之一。scan.startup.mode可以设置为以下几种模式：earliest-offset：从最早的offset开始消费数据。latest-offset：从最新的offset开始消费数据。group-offsets：从消费者组的offset开始消费数据。timestamp：根据指定的时间戳开始消费数据。specific-offsets：根据指定的offset开始消费数据。        在Flink的配置文件（如flink-conf.yaml）中，，可以通过设置以下参数来

第1章Kafka概述1.1定义Kafka传统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（MessageQueue），主要应用于大数据实时处理领域。Kafka最新定义：Kafka是一个开源的分布式事件流平台（EventStreamingPlatform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息1.2消息队列目前企业中比较常见的消息队列产品主要有Kafka、ActiveMQ、RabbitMQ、RocketMQ等。在大数据场景主要采用Kafka作为消息队列。在JavaEE开发中主要采用

在热招的Java架构师岗位面试中，Kafka面试题被面试官选中的几率非常大，也是HR的杀手锏和狠招，一般来讲，面试题有以下几种：Kafka为什么这么快？如何对Kafka集群进行调优？Kafka的高性能网络架构是如何设计的？Kafka集群资源如何评估？大多数人遇到这样的问题，脑海中简单构思之后就快速给出了答案：Kafka是基于磁盘顺序写的设计。将Kafka的副本因子调大，提高数据的安全性，把生产者程序的ack调整为0，提高数据写入的效率等。Kafka的高性能网络架构设计方案包含批处理，高效的序列化方式。Kafka的集群资源评估主要看topic的数量以及每个topic的数据量规模。那么，避免踩坑，

一、consumer导致kafka积压了大量消息场景：1.如果是Kafka消费能力不足，则可以考虑增加topic的partition的个数，同时提升消费者组的消费者数量，消费数=分区数（二者缺一不可）2.若是下游数据处理不及时，则提高每批次拉取的数量。批次拉取数量过少（拉取数据/处理时间方法：1.增大partion数量，2.消费者加了并发，服务，扩大消费线程3.增加消费组服务数量4.kafka单机升级成了集群5.避免消费者消费消息时间过长，导致超时6.使Kafka分区之间的数据均匀分布二、消息过期失效产生消息堆积，消费不及时，kafka数据有过期时间，一些数据就丢失了，主要是消费不及时经验1.