前言本意利用kafka实现一个类似redis发布订阅的模式，比redis多了一个数据分区的功能。kafka里面的数据我们是不需要存储的，因此我们需要配置对应的删除策略Kafka版本号2.8.1数据清理策略kafka有两种数据清理策略，delete删除和compact压缩，默认是删除。delete：一般是使用按照时间保留的策略，当不活跃的segment的时间戳是大于设置的时间的时候，当前segment就会被删除compact:日志不会被删除，会被去重清理，这种模式要求每个record都必须有key，然后kafka会按照一定的时机清理segment中的key，对于同一个key只保留罪行的那个key
OffsetExplorer连接Kafka问题集合，(Timeoutexpiredwhilefetchingtopicmetadata),(Uabletofindanybrokers)一、Timeoutexpiredwhilefetchingtopicmetadata1.OffsetExplorer配置好zookeeper的连接地址后2.在查看Topics的时候，报错Timeoutexpiredwhilefetchingtopicmetadata3.排查发现应该是kafka的server.properties文件中的advertised.listeners问题修改前是advertised.li
目录一、环境准备Ⅰ、准备好三台虚拟机用于搭建nginx和kafka集群Ⅱ、配置静态ip地址Ⅲ、修改主机名Ⅳ、域名解析编辑Ⅴ、安装基本软件Ⅵ、安装时间同步服务Ⅶ、关闭防火墙二、nginx搭建Ⅰ.安装epel源并下载nginx服务Ⅱ.启动nginx服务Ⅲ.编辑配置文件三、kafka集群搭建Ⅰ、kafka原理Ⅱ、Kafka集群配置Ⅲ、测试四、filebeat部署Ⅰ、filebeatⅡ、fliebeat的配置五、添加域名映射排错：一、环境准备Ⅰ、准备好三台虚拟机用于搭建nginx和kafka集群Ⅱ、配置静态ip地址1、更改网卡配置文件[root@nginx-kafka01~]#cd/etc/sysc
本文使用kafka单节点安装及配置，并使用kafka自带的zookeeper。一般kafka需要起三个kafka构成集群，可以连单独的zookeeper，本文不涉及。一、kafka下载解压安装包下载地址：https://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz将安装包上传到/opt/module文件夹下，解压文件tar-zxvfkafka_2.12-2.5.0.tgz将解压后的文件改名为kafka，方便后面识别二、修改zookeeper配置kafka集成了zookeeper，可以直接使用，不需而外安装zookeeper。修
springboot消费kafka定时拉取固定条数springboot消费kafka，频率限制背景上游预警信息发送到kafka，springboot消费后，进行推送到企业微信机器人。企微机器人有个限制，每分钟最多20条，其余被丢掉。两种方案1消费kafka时，控制速度，每分钟去拉取一次，每次拉取2条2直接消费kafka后，存表，每分钟的定时任务取20条进行推送最终方案1，因为改动小，关键代码//设置为批量消费，每个批次数量在Kafka配置参数中设置ConsumerConfig.MAX_POLL_RECORDS_CONFIGfactory.setBatchListener(true);facto
文章目录一、zookeeper伪集群搭建1.下载安装包2.解压安装包3.创建目录4.修改配置文件5.修改dataDir，clientPort两个配置项5.在data目录下创建myid文件6.复制多个zookeeper7.修改内存大小8.启动zookeper9.查看zookeeper运行状态二、kafka伪集群搭建2.1.下载2.2.解压安装包2.3.新建目录2.4.修改配置文件2.5.复制多个kafka2.6.配置kafka90922.7.配置kafka90932.8.修改内存大小2.9.防火墙策略2.10.启动kafka集群2.11.关闭kafka三、测试3.1.创建Topic3.2.查看已
如何通过击中RESTAPI将XML或JSON格式文件发送到ApacheKafka？看答案最简单的方法是通过开源ConfluentKafkaRest代理发布到Kafka（请参阅http://docs.confluent.io/current/kafka-rest/docs/index.html)同样的休息代理也支持通过HTTP（S）和生产从Kafka消费。
一、kafka与zookeeper版本对应关系网上可以查到的基本都是这个样子（清一色kafka2.4.0版本一下的）！！Kafka版本Zookeeper版本kafka_2.12-2.7.2zookeeper-3.5.9.jar……kafka_2.12-2.4.0zookeeper-3.5.6.jarkafka_2.12-2.3.1zookeeper-3.4.14.jarkafka_2.12-2.3.0zookeeper-3.4.14.jarkafka_2.12-1.1.1zookeeper-3.4.10.jarkafka_2.12-1.1.0zookeeper-3.4.10.jarkafka_
利用Kafka实现延迟队列实践一、RocketMq二、kafka实践三、kafka实践+四、更多一、RocketMq阿里提供的RocketMq消息中间件是天然支持消息先延迟队列功能的，主要原理和实现方法可以参加以下链接：https://blog.csdn.net/daimingbao/article/details/119846393二、kafka实践项目中采用的消息中间件是kafka，那如何在kafka上实现类似延迟队列的功能。kafka本身是不支持延迟队列功能，我们可以通过消息延时转发新主题，曲线完成该功能。主要实践原理是通过定阅原始主题，并判断是否满足延迟时间要求，满足要求后转发新主题，
利用Kafka实现延迟队列实践一、RocketMq二、kafka实践三、kafka实践+四、更多一、RocketMq阿里提供的RocketMq消息中间件是天然支持消息先延迟队列功能的，主要原理和实现方法可以参加以下链接：https://blog.csdn.net/daimingbao/article/details/119846393二、kafka实践项目中采用的消息中间件是kafka，那如何在kafka上实现类似延迟队列的功能。kafka本身是不支持延迟队列功能，我们可以通过消息延时转发新主题，曲线完成该功能。主要实践原理是通过定阅原始主题，并判断是否满足延迟时间要求，满足要求后转发新主题，
