草庐IT

TimingWheel

全部标签

Kafka的TimingWheel

Kafka的TimingWheel是Kafka中的一个时间轮实现,用于管理和处理延迟消息。时间轮是一种定时器的数据结构,可以高效地管理和触发定时事件。在Kafka中,TimingWheel用于处理延迟消息的重试。当Kafka生产者发送消息到Kafka集群,但由于某些原因导致消息发送失败,生产者会将这些消息放入TimingWheel中,进行重试。TimingWheel会定期扫描轮中的槽位,如果槽位中有消息需要重试,则将其重新发送。TimingWheel的主要特点是它可以在O(1)的时间复杂度内添加和删除延迟消息,并且定时触发延迟消息的发送。时间轮的设计使得在大量延迟消息场景下,能够高效地进行管理

时间轮算法(TimingWheel)

时间轮算法的应用非常广泛,在Dubbo、Netty、Kafka、ZooKeeper、Quartz的组件中都有时间轮思想的应用,甚至在Linux内核中都有用到。其思想理论基础可以参考论文:http://www.cs.columbia.edu/~nahum/w6998/papers/ton97-timing-wheels.pdf任务队列的模型设计实际生产中常用的消息处理组件Kafka、Redis、MQ都是基于消息队列的定时任务实现的。归纳来说,一个基本的任务队列模型需要能够支持依赖几个功能:定时任务的添加定时任务的删除/获取定时任务的执行(通常将任务分配给异步线程池来处理)一个最直接的想法是,为了

【算法数据结构专题】「延时队列算法」史上手把手教你针对层级时间轮(TimingWheel)实现延时队列的开发实战落地(下)

承接上文承接上一篇文章【算法数据结构专题】「延时队列算法」史上手把手教你针对层级时间轮(TimingWheel)实现延时队列的开发实战落地(上)】我们基本上对层级时间轮算法的基本原理有了一定的认识,本章节就从落地的角度进行分析和介绍如何通过Java进行实现一个属于我们自己的时间轮服务组件,最后,在告诉大家一下,其实时间轮的技术是来源于生活中的时钟。时间轮演示结构总览无序列表时间轮【无序列表时间轮】主要是由LinkedList链表和启动线程、终止线程实现。遍历定时器中所有节点,将剩余时间为0s的任务进行过期处理,在执行一个周期。无序链表:每一个延时任务都存储在该链表当中(无序存储)。启动线程:直

【算法数据结构专题】「延时队列算法」史上手把手教你针对层级时间轮(TimingWheel)实现延时队列的开发实战落地(下)

承接上文承接上一篇文章【算法数据结构专题】「延时队列算法」史上手把手教你针对层级时间轮(TimingWheel)实现延时队列的开发实战落地(上)】我们基本上对层级时间轮算法的基本原理有了一定的认识,本章节就从落地的角度进行分析和介绍如何通过Java进行实现一个属于我们自己的时间轮服务组件,最后,在告诉大家一下,其实时间轮的技术是来源于生活中的时钟。时间轮演示结构总览无序列表时间轮【无序列表时间轮】主要是由LinkedList链表和启动线程、终止线程实现。遍历定时器中所有节点,将剩余时间为0s的任务进行过期处理,在执行一个周期。无序链表:每一个延时任务都存储在该链表当中(无序存储)。启动线程:直