问题：在接收第三方推送kafka数据时出现相同数据一直循环重复消费。原因：消费者处理比较耗时，一次poll的数据，在max.poll.interval.ms达到最大值后仍未完成，未提交offest，默认值为5分钟。解决办法1.提高max.poll.interval.ms的值。Ⅰ.使用springboot自动配置方式spring:kafka:bootstrap-servers:127.0.0.1:9092#分号不能去consumer:auto-offset-reset:latestkey-deserializer:org.apache.kafka.common.serialization.St
目录Kafka分区机制生产者分区写入策略轮询策略随机策略（不用）按key分配策略乱序问题自定义分区策略消费者组Rebalance机制消费者分区分配策略Range范围分配策略RoundRobin轮询策略Stricky粘性分配策略Kafka副本机制producer的ACKs参数acks配置为0acks配置为1acks配置为-1或者all高级（HighLevel）API与低级（LowLevel）API高级（HighLevel）API低级（LowLevel）API监控工具Kafka-eagle安装Kafka-EagleKafka原理分区的leader与followerAR、ISR、OSRControl
针对某个TOPIC只有几个分区积压的场景，可以采用以下方法进行排查：消息生产是否指定key？如果指定了消息key，那么消息会指定生产到hash(key)的分区中。如果指定了key，那么有下列几种可能：生产该key的消息体内容与消息处理逻辑是否有与其他分区不同该key处理逻辑代码中是否有处理异常，导致偏移量无法正常提交该key消息量大小比其他分区多：不指定消息key，使Kafka分区之间的数据均匀分布如果不指定key的场景：订阅该TOPIC的消费组中消费者有多少个？每个消费组负责多少个分区？如果消费者个数过少，比如说有50个分区，但只有3个消费者，那么一个消费者平均要消费16个分区。这种情况可以
分布式应用之Zookeeper和Kafka一、Zookeeper1.定义分布式系统管理框架，主要用来解决分布式集群中应用系统的一致性问题相当于各种分布式应用服务的注册中心+文件系统+通知机制2.特点（1）Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。（2）Zookeepe集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。（3）全局数据一致：每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的。（4）更新请求顺序执行，来自同一个Client的更新请求按
KafkaNodeSinceTBVersion2.0Kafka节点将消息发送到Kafka代理。它可以接收任何类型的消息。该节点会通过Kafka生产者将记录发送到Kafka服务器。配置主题模式-可以是静态字符串，也可以是使用消息元数据属性解析的模式。例如${deviceType}引导服务器-用逗号分隔的kafka代理列表。自动重试次数-如果连接失败，重新发送消息的尝试次数。生成批量大小-用于将具有相同分区的消息分组的批量大小（按字节计）。本地缓冲时间-最大本地缓冲窗口持续时间(单位:毫秒)。客户端缓冲最大大小-用于发送消息的最大缓冲区大小(按字节计)。确认数量-节点在考虑请求完成之前需要接收的确
环境版本：hadoop-3.1.0hive-3.1.2flink-1.13.2一、开发Maven引入依赖项：org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java_${scala.binary.version}${flink.version}org.apache.flinkflink-table-planner-blink_${scala.binary.version}${flink.version}org.apache.flinkflink-table-api-java-bridge_2.1
环境版本：hadoop-3.1.0hive-3.1.2flink-1.13.2一、开发Maven引入依赖项：org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java_${scala.binary.version}${flink.version}org.apache.flinkflink-table-planner-blink_${scala.binary.version}${flink.version}org.apache.flinkflink-table-api-java-bridge_2.1
Kafka是由Linkedin开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与ClouderaHadoop、ApacheStorm、ApacheSpark、Flink集成。Kafka使用场景页面访问量PV、页面曝光Expose、页面点击Click等行为事件；实时计算中的KafkaSource、DataflowPipeline；业务的消息系统，通过发布订阅消息解耦多组微服务，消除峰值（流入的速度和持久化落盘的速度的差速，流入多，消费慢，用于做消息堆积，将流量平滑到下游的消费系统）Kafka是一种分布式的，基于发布/订阅的消息系统。其主要设计目标如下：以时间复杂度为O(1)的方
目录前言： 消息丢失的场景 生产者消息丢失Broker消息丢失 消费者消息丢失 消息丢失问题排查无消息丢失配置：参考资料：前言： 使用消息中间件时，我们遇到最头疼的事就消息丢失，小则影响程序错误，大则影响到某个重要业务失败。如果kafka配置不当或者使用不当，是很有可能出现消息丢失的。本篇博文重点探讨主要的kafka消息丢失的场景及我们应该如何配置kafka参数来避免消息的丢失。 消息丢失的场景 消息丢失无非分为3种，生产端消息丢失、kafka-broker端消息丢失、服务端消息丢失。Kafka对于消息丢失这件事，只做了如下承诺，kafka只对已提交的消息做有限度的持久化保证。 生产
集群里面kafka报错：Controller219epoch110failedtochangestateforpartitionmaxwell_atlas-0fromOfflinePartitiontoOnlinePartitionkafka.common.stateChangeFailedException:Failedtoelectleaderforpartitionmaxwell_atlas-0understrategyOfflinePartitionLeaderElectionStrategy错误原因：新增加的副本的offset比leader的新，所以在elecct的时候，报错。解决办
