哈喽大家好，我是咸鱼今天我们继续来讲一讲Kafka当有消息被生产出来的时候，如果没有指定分区或者指定key，那么消费会按照【轮询】的方式均匀地分配到所有可用分区中，但不一定按照分区顺序来分配我们知道，在Kafka中消费者可以订阅一个或多个主题，并被分配一个或多个分区如果一个消费者消费了多个分区，某些场景下消费者需要顺序地消费消息，但消息并不是按照顺序分配给分区的，所以就不一定能够保证消息消费的全局顺序性比如下图中Msg0002消息并不是在Msg0001消息之后的，就有可能导致消费者先把Msg0002消息给消费，Msg0001消息才被消费那么这种情况该怎么解决？如何尽可能地保证消息消费的全局顺序
手动部署Kraft模式kafka集群基本信息IP地址HostnameReleaseKafka-Version172.29.145.157iamdemo1Centos7.9kafka_2.12-3.5.1172.29.145.182iamdemo2Centos7.9kafka_2.12-3.5.1172.29.145.183iamdemo3Centos7.9kafka_2.12-3.5.1下载安装包kafka安装包官网下载下载完成后上传到服务器/opt目录下解压tar-xfkafka_2.12-3.5.1.tgz将文件夹重命名为kafkamvkafka_2.12-3.5.1kafka生成集群随机
最近项目组的kafka集群，老是由于应用端写入kafkatopic的消息太多，导致所在的broker节点占满，导致其他的组件接连宕机。这里和应用端沟通可以删除1天之前的消息来清理磁盘，并且可以调整topic的消息存活时间。一、调整Topic的消息存活时长删除消息kafka-configs--zookeeperlocalhost:2181--entity-typetopics--entity-nametopicName--alter--add-configretention.ms=86400000如上调整topic的消息存活时长为为1天，当执行完之后执行查询topic详细信息，可以看到已经发生了
SpringBoot与Kafka从零开始整合指南准备工作创建项目SpringBoot与Kafka的初次邂逅配置生产者消费者模拟测试消息处理生产者发送消息消费者处理消息自定义序列化器主页传送门：📀传送准备工作Springboot:｜基于Spring的开源框架，用于简化新Spring应用的初始搭建以及开发过程特性:｜快速开发、轻量级、无代码生成和独立运行等特性优势:｜简化配置，提供自动配置，减少开发时间应用场景：｜适用于微服务架构、云原生应用等场景环境搭建安装jdk:｜安装适合的JDK版本，为SpringBoot和Kafka提供运行环境安装Maven：｜安装Maven，为SpringBoot项目提
一、下载安装zookeeper：https://downloads.apache.org/zookeeper本次使用kafka_2.12-2.8.1.tgz内置zookeeper服务，以下zookeeper安装可以忽略！！！解压：修改配置文件：修改zoo.cfg内容：启动：测试：二.下载kafka安装包安装及配置kafka:kafka官网下载链接:https://kafka.apache.org/downloads.html4.3.修改配置文件4.3.1.kafka_2.12-3.2.1\config\zookeeper.propertis4.3.2.kafka_2.12-3.2.1\conf
importcom.alibaba.fastjson.JSON;importcom.alibaba.fastjson.JSONObject;importcom.avris.strategy.worker.api.Application;importjava.io.IOException;importjava.io.InputStream;importjavax.annotation.Resource;importlombok.extern.slf4j.Slf4j;importorg.apache.kafka.clients.consumer.ConsumerRecord;importorg.j
🚀作者：“大数据小禅”🚀文章简介：Flink对接KafkaConnetor第一步使用docker部署kafka🚀欢迎小伙伴们点赞👍、收藏⭐、留言💬目录导航什么是DockerDocker常用命令Docker安装过程Docker部署kafka什么是DockerDocker是一个开源的容器化平台，用于将应用程序和其依赖的环境打包成一个独立的容器，以实现应用程序的快速部署、可移植性和可伸缩性。0传统的应用部署方式通常需要在目标环境中手动设置各种依赖项和配置，可能面临不同操作系统或软件版本之间的兼容性问题。而Docker可以通过容器的方式隔离应用程序和其依赖的环境，使得应用程序能够在任意系统上以相同的方
目录1运行Kafka单实例1.1Windws1.1.1安装包下载1.1.2修改环境变量1.1.3修改配置文件1.1.4启动Kafka单机版1.2Linux1.2.1安装包下载1.2.2创建目录1.2.3添加环境变量1.2.4修改配置文件1.2.5运行Kafka1.2.6停止Kafka2搭建Kafka集群2.1搭建Zookeeper集群2.2搭建Kafka集群2.2.1新建集群目录2.2.2配置环境变量2.2.3创建节点目录2.2.4修改配置2.2.5启动集群2.2.6停止集群1运行Kafka单实例1.1Windws环境：Windows111.1.1安装包下载官网下载地址：https://kaf
目录第1章Kafka概述1.1消息队列（MessageQueue）1.1.1传统消息队列的应用场景1.1.2消息队列的两种模式1.2定义第2章Kafka快速入门2.1安装部署2.1.1集群规划2.1.2jar包下载2.1.3集群部署2.2Kafka命令行操作第3章Kafka架构深入3.1Kafka工作流程及文件存储机制3.2Kafka生产者3.2.1分区策略3.2.2数据可靠性保证3.2.3ExactlyOnce语义第1章Kafka概述1.1消息队列（MessageQueue）1.1.1传统消息队列的应用场景1.1.2消息队列的两种模式点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除
一、安装kafkamanager管控台：#安装kafkamanager管控台：##上传cd/usr/local/software##解压unzipkafka-manager-2.0.0.2.zip-d/usr/local/cd/usr/local/kafka-manager-2.0.0.2/confvim/usr/local/kafka-manager-2.0.0.2/conf/application.conf###修改内容kafka-manager.zkhosts="172.16.144.133:2181,172.16.144.134:2181,172.16.144.135:2181"###
