KafkaTopic可以根据业务类型，分发到不同的Topic中，对于每一个Topic，下面可以有多个分区(Partition)日志文件:kafka下的Topic的多个分区，每一个分区实质上就是一个队列，将接收到的消息暂时存储到队列中，根据配置以及消息消费情况来对队列消息删除。Partition是一个有序的message序列这些message按顺序添加到一个叫做commitlog的文件中。每个partition中的消息都有一个唯一的编号，称之为offset，用来唯一标示某个分区中的message。每个partition，都对应一个commitlog文件。一个partition中的message的
KafkaTopic可以根据业务类型，分发到不同的Topic中，对于每一个Topic，下面可以有多个分区(Partition)日志文件:kafka下的Topic的多个分区，每一个分区实质上就是一个队列，将接收到的消息暂时存储到队列中，根据配置以及消息消费情况来对队列消息删除。Partition是一个有序的message序列这些message按顺序添加到一个叫做commitlog的文件中。每个partition中的消息都有一个唯一的编号，称之为offset，用来唯一标示某个分区中的message。每个partition，都对应一个commitlog文件。一个partition中的message的
1.Kafka的基本介绍1.1什么是Kafka？Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。支持KafkaServe
1.Kafka的基本介绍1.1什么是Kafka？Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。支持KafkaServe
Kafka消息过期策略（时间相关参数）标记delete时效(CDH配置项)log.retention.ms（Kafkaoffset配置）retention.ms标记delete的真删底层文件delete.delay.mslog.segmetn.delete背景：在不需要重启kafka的情况下，需要针对特定的topic做消息过期时间配置本人通过kafkaoffset工具只做了如下测试：在新建topic的时候附加retention.ms=1小时的毫秒数这样的配置，retention.ms=1小时的毫秒数,delete.retention.ms=7天的毫秒数,segment.ms=7天的毫秒数在这种
Kafka消息过期策略（时间相关参数）标记delete时效(CDH配置项)log.retention.ms（Kafkaoffset配置）retention.ms标记delete的真删底层文件delete.delay.mslog.segmetn.delete背景：在不需要重启kafka的情况下，需要针对特定的topic做消息过期时间配置本人通过kafkaoffset工具只做了如下测试：在新建topic的时候附加retention.ms=1小时的毫秒数这样的配置，retention.ms=1小时的毫秒数,delete.retention.ms=7天的毫秒数,segment.ms=7天的毫秒数在这种
生产者客户端代码public class SzzTestSend { public static final String bootStrap = "xxxxxx:9090"; public static final String topic = "t_3_1"; public static void main(String[] args) { Properties properties = new Properties(); properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,bootSt
生产者客户端代码public class SzzTestSend { public static final String bootStrap = "xxxxxx:9090"; public static final String topic = "t_3_1"; public static void main(String[] args) { Properties properties = new Properties(); properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,bootSt
最近，项目中使用过kafka但是不太理解，然后各种搜博客补习。然后对kafka如何保证数据的有序性很感兴趣，于是乎，又疯狂找博客学习，现在可以说是小有心得，在这里记录一下，怕忘记。也作为给大家的一个分享。本文内容为集多家之长，根据自己的理解就诞生了这篇内容，开始。 自己在学习的过程中，看完博客结合自己理解的小结如下：研究如何保障kafka消费的顺序性，宗旨就是通过将消息绑定到定向的分区或者队列来保证顺序性，通过增加分区或者线程来提升消费能力。 1.要保证生产者发消息发的是顺序性的消息，这个好解决，发消息的时候指定一下key相同的key会发送到一个分区中，而分区时有序的在发消息的时候多个操作（
最近，项目中使用过kafka但是不太理解，然后各种搜博客补习。然后对kafka如何保证数据的有序性很感兴趣，于是乎，又疯狂找博客学习，现在可以说是小有心得，在这里记录一下，怕忘记。也作为给大家的一个分享。本文内容为集多家之长，根据自己的理解就诞生了这篇内容，开始。 自己在学习的过程中，看完博客结合自己理解的小结如下：研究如何保障kafka消费的顺序性，宗旨就是通过将消息绑定到定向的分区或者队列来保证顺序性，通过增加分区或者线程来提升消费能力。 1.要保证生产者发消息发的是顺序性的消息，这个好解决，发消息的时候指定一下key相同的key会发送到一个分区中，而分区时有序的在发消息的时候多个操作（
