查看一下压缩策略bin/kafka-topics.sh--describe--zookeeperxxxx:2181--topicSHI_TOPIC1Topic:SHI_TOPIC1PartitionCount:1ReplicationFactor:1Configs:cleanup.policy=compactTopic:SHI_TOPIC1Partition:0Leader:0Replicas:0Isr:0Configs:cleanup.policy=compact:然后再检查一下自己发送消息的时候是不是没有传key[参考链接](()问题堆栈信息org.springframework.kafk
👏作者简介：大家好，我是Rockey，不知名企业的不知名Java开发工程师🔥如果感觉博主的文章还不错的话，请👍三连支持👍一下博主哦📝联系方式：he18339193956，加我进群，大家一起学习，一起读书，一起对抗互联网寒冬👀一，打开Kafka官网进行下载Kafka官网地址：https://kafka.apache.org/downloads我下载的是2.4.0版本二、下载完毕之后进行解压 因为Kafka的运行依赖于Zookeeper，所以还需要下并安装Zookeeper，ZooKeeper和Kafka版本之间有一定的对应关系，不同版本的ZooKeeper和Kafka可以相互兼容，但需要
LogServiceImpl@Service@Slf4jpublicclassLogServiceImplimplementsLogService{privatestaticfinalStringTOPIC_NAME="ods_link_visit_topic";@AutowiredprivateKafkaTemplatekafkaTemplate;/***记录日志**@paramrequest*@paramshortLinkCode*@paramaccountNo*@return*/@OverridepublicvoidrecodeShortLinkLog(HttpServletReques
部署ZKdockerrun-d--namezookeeper-p2181:2181-twurstmeister/zookeeper部署Kafka dockerrun-d--namexdclass_kafka\ -p9092:9092\ -eKAFKA_BROKER_ID=0\ --envKAFKA_HEAP_OPTS=-Xmx256M\ --envKAFKA_HEAP_OPTS=-Xms128M\ -eKAFKA_ZOOKEEPER_CONNECT=[内网ip]:2181\ -eKAFKA_ADVERTISED_LISTENERS=PLAINTEXT://[外网ip]:9092\ -eKAFK
1安装Redis1.1创建配置文件redis.conf切换到自己的目录下如本文是放在/home/ubuntu下cd/home/ubuntuvimredis.confbind0.0.0.0protected-modeyesport6379requirepassqwe123456tcp-backlog511timeout0tcp-keepalive300daemonizenopidfile/var/run/redis_6379.pidloglevelnoticelogfile"/tmp/redis.log"databases16always-show-logonostop-writes-on-bg
Zookeeper与Kafka一、Zookeeper概述1.Zookeeper定义2.Zookeeper工作机制3.Zookeeper特点4.Zookeeper数据结构5.Zookeeper应用场景6.Zookeeper选举机制二、部署Zookeeper集群1.准备3台服务器做Zookeeper集群2.安装Zookeeper3.拷贝配置好的Zookeeper配置文件到其他机器上4.配置Zookeeper启动脚本5.设置开机自启三、Kafka概述1.为什么需要消息队列（MQ）：2.使用消息队列的好处3.消息队列的两种模式4.Kafka定义5.Kafka简介6.Kafka的特性7.Kafka系统架
1.概述对于分布式系统，人们首先对现实中的分布式系统进行高层抽象，然后做出各种假设，发展了诸如CAP,FLP等理论，提出了很多一致性模型，Paxos是其中最璀璨的明珠。我们对分布式系统的时序，复制模式，一致性等基础理论特别关注。在共识算法的基础上衍生了选举算法，并且为分布式事务提供了部分的支持。本文从常见的几种分布式存储系统看看实践中的分布式系统设计细节。理论结合实际，能更好地帮助我们加深理解。2.分片先来看看分片的定义：Theword“Shard”means“asmallpartofawhole“.HenceShardingmeans dividingalargerpartintosmall
目录一、简介二、环境搭建1、Kafka部署2、Kafka测试3、可视化工具三、工程搭建1、工程结构2、依赖管理3、配置文件四、基础用法1、消息生产2、消息消费五、参考源码标签：Kafka3.Kafka-eagle3；一、简介Kafka是一个开源的分布式事件流平台，常被用于高性能数据管道、流分析、数据集成和关键任务应用，基于Zookeeper协调的处理平台，也是一种消息系统，具有更好的吞吐量、内置分区、复制和容错，这使得它成为大规模消息处理应用程序的一个很好的解决方案；二、环境搭建1、Kafka部署1、下载安装包：kafka_2.13-3.5.0.tgz2、配置环境变量open-e~/.bash
Kafka生产者、消费者命令行操作1.查看操作生产者命令参数bin/kafka-console-producer.sh参数--bootstrap-server，连接的KafkaBroker主机名称和端口号。--topic，操作的topic名称。2.发送消息bin/kafka-console-producer.sh--bootstrap-serverhadoop102:9092--topicfirst3.消费者命令行操作bin/kafka-console-consumer.sh参数--bootstrap-server，连接的KafkaBroker主机名称和端口号。--topic，操作的topic
