一.Kafka-kraft架构由于Kafka依赖于zookeeper集群做元数据管理，2.8版本以后kafka引入kraft代替zk，图为zk模式的架构和kraft模式的架构对比左图为Kafka现有架构，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。右图为kraft模式架构，不再依赖zookeeper集群，而是用三台controller节点代替zookeeper，元数据保存在controller中，由controller直接进行Kafka集群管理。这样做的好处有以下几个：Kafka不再依赖外部框架，而是能够独立运行；contro
一.Kafka-kraft架构由于Kafka依赖于zookeeper集群做元数据管理，2.8版本以后kafka引入kraft代替zk，图为zk模式的架构和kraft模式的架构对比左图为Kafka现有架构，元数据在zookeeper中，运行时动态选举controller，由controller进行Kafka集群管理。右图为kraft模式架构，不再依赖zookeeper集群，而是用三台controller节点代替zookeeper，元数据保存在controller中，由controller直接进行Kafka集群管理。这样做的好处有以下几个：Kafka不再依赖外部框架，而是能够独立运行；contro
1、HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop实现了一个分布式文件系统（DistributedFileSystem），其中一个组件是HDFS（HadoopDistributedFileSystem）。2、FlaskFlask是一个用Python编写的Web应用程序框架。基于WerkzeugWSGI工具和Jinja2模板引擎。Flask通常被称为微框架,它旨在保持应用程序的核心简单且可扩展。Flask没有用于数据库处理的内置抽象层，也没有形成验证支持。相反，Flask支持扩展以向应用程序添加
1、HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop实现了一个分布式文件系统（DistributedFileSystem），其中一个组件是HDFS（HadoopDistributedFileSystem）。2、FlaskFlask是一个用Python编写的Web应用程序框架。基于WerkzeugWSGI工具和Jinja2模板引擎。Flask通常被称为微框架,它旨在保持应用程序的核心简单且可扩展。Flask没有用于数据库处理的内置抽象层，也没有形成验证支持。相反，Flask支持扩展以向应用程序添加
目录一、kafka消费者的特点二、出现重复消费的情况1、consumer在消费过程中，应用进程被强制kill掉或发生异常退出2、消费者消费时间过长三、kafka重复消费的解决方案1、提高消费能力2、将消费的接口幂等处理，从而不用考虑重复消费的问题一、kafka消费者的特点Kafka消费者以消费者组(ConsumerGroup)的形式消费一个topic，发布到topic中的每个记录将传递到每个订阅的消费者组中的一个消费者实例。ConsumerGroup之间彼此独立，互不影响，它们能够订阅相同的一组主题而互不干涉。kafka中跟消费者有关的几个重要配置参数：enable.auto.commit默认
目录一、kafka消费者的特点二、出现重复消费的情况1、consumer在消费过程中，应用进程被强制kill掉或发生异常退出2、消费者消费时间过长三、kafka重复消费的解决方案1、提高消费能力2、将消费的接口幂等处理，从而不用考虑重复消费的问题一、kafka消费者的特点Kafka消费者以消费者组(ConsumerGroup)的形式消费一个topic，发布到topic中的每个记录将传递到每个订阅的消费者组中的一个消费者实例。ConsumerGroup之间彼此独立，互不影响，它们能够订阅相同的一组主题而互不干涉。kafka中跟消费者有关的几个重要配置参数：enable.auto.commit默认
目录生产者的同步发送消息异步发送生产端ack的配置发送消息缓冲机制 代码实现生产者消费者实例生产者的同步发送消息 生产者发送消息到我们的topic分区上，需要等待我们kafka返回的ack，如果没有返回就会进入3s的阻塞，retry3次——>抛出异常（这里面我们可以将信息记录到文件日志中）(43条消息)NIO学习_Fairy要carry的博客-CSDN博客packagecom.wyh.kafka_demo.kafka;importcom.alibaba.fastjson.JSON;importcom.wyh.kafka_demo.pojo.Order;importorg.apache.kafk
目录生产者的同步发送消息异步发送生产端ack的配置发送消息缓冲机制 代码实现生产者消费者实例生产者的同步发送消息 生产者发送消息到我们的topic分区上，需要等待我们kafka返回的ack，如果没有返回就会进入3s的阻塞，retry3次——>抛出异常（这里面我们可以将信息记录到文件日志中）(43条消息)NIO学习_Fairy要carry的博客-CSDN博客packagecom.wyh.kafka_demo.kafka;importcom.alibaba.fastjson.JSON;importcom.wyh.kafka_demo.pojo.Order;importorg.apache.kafk
一、Kafka架构图上篇博客主要讲了Kafka的基本概念，这里不做过多介绍。可以参考Kafka入门学习那么Zookeeper在其中主要起到什么作用呢？二、Zookeeper在kafka中的具体作用它是一个分布式协调框架。很好的将消息生产、消息存储、消息消费的过程结合在一起。在典型的Kafka集群中,Kafka通过Zookeeper管理集群配置，选举leader，以及在ConsumerGroup发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息.2.1Broker注册Broker是分布式部署并且
一、Kafka架构图上篇博客主要讲了Kafka的基本概念，这里不做过多介绍。可以参考Kafka入门学习那么Zookeeper在其中主要起到什么作用呢？二、Zookeeper在kafka中的具体作用它是一个分布式协调框架。很好的将消息生产、消息存储、消息消费的过程结合在一起。在典型的Kafka集群中,Kafka通过Zookeeper管理集群配置，选举leader，以及在ConsumerGroup发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息.2.1Broker注册Broker是分布式部署并且
