概述Kafka是由LinkedIn开发一个分布式的基于发布订阅模式的消息队列，是一个实时数据处理系统，可以横向扩展。与RabbitMQ、RockerMQ等中间件一样拥有几大特点：异步处理服务解耦流量削峰下图是异步处理的示例图。架构如下图，一个Kafka架构包含若干个Producer，若干个Consumer，若干个Broker和一个Zookeeper集群。Zookeeper：Kafka集群通过Zookeeper管理集群配置。选举Leader、ConsumerGroup发送变化是进行Rebalance。Broker：消息中间件处理节点，一个节点就是一个Broker，一个Kafka集群由一个或多个B
目录一．KafkaUtils.createDstream方式二．KafkaUtils.createDirectStream方式 温习Kafka是由Apache软件基金会开发的一个开源流处理平台,它使用Scala和Java语言编写，是一个基于Zookeeper系统的分布式发布订阅消息系统，该项目的设计初衷是为实时数据提供一个统一、高通量、低等待的消息传递平台。①、Kafka的众多优点：其优点具体：(1)解耦。Kafka具备消息系统的优点,只要生产者和消费者数据两端遵循接口约束，就可以自行扩展或修改数据处理的业务过程。(2)高吞吐量、低延迟。即使在非常廉价的机器上,Kafka也能做到每秒处理几十万
文章目录一、Docker安装Kafka1.创建网络2.安装zookeeper3.安装Kafka二、Kafka介绍1.Kafka简介三、SpringBoot整合Kafka1.引入pom依赖2.application.propertise配置3.HelloKafka(Producer)4.ConsumerKafka5.带回调的生产者6.自定义分区器7.kafka事务提交8.指定topic、partition、offset消费9.ConsumerAwareListenerErrorHandler异常处理器10.消息过滤器11.消息转发12.定时启动、停止监听器一、Docker安装Kafka1.创建网
创建increase-replication-factor.json文件$catincrease-replication-factor.json{"version":1,"partitions":[{"topic":"testTopic","partition":0,"replicas":[0,1,2]},{"topic":"testTopic","partition":1,"replicas":[0,1,2]},{"topic":"testTopic","partition":2,"replicas":[0,1,2]},{"topic":"testTopic","partition":3,"
1.背景原生Kafka是不支持RetryTopic和DLT（DeadLetterTopic，死信队列）。但是SpringKafka在客户端实现了这两个功能。2.版本spring-kafka2.7.14（2.7.x以下版本不支持RetryTopic）3.默认重试策略默认情况下，spring-kafka在消费逻辑抛出异常时，会快速重试10次（无间隔时间），如果重试完成后，依旧消费失败，spring-kafka会commit这条记录。默认重试的实现原理是：重置当前consumeroffset，感兴趣的同学可以在SeekUtils#doSeeksdebug一下可以通过自定义SeekToCurrentE
KafkaKafka是一种高吞吐量的分布式发布订阅消息系统。用于日志处理的分布式消息队列，同时支持离线和在线日志处理。具有高性能、持久化、多副本备份、横向扩展能力。Producer：发送消息者。将消息发布到指定的Topic中,同时Producer也能决定将此消息归属于哪个partition;比如基于"round-robin"方式或者通过其他的一些算法等。Consumer：消息接受者。每个consumer属于一个consumergroup。发送到Topic的消息,只会被订阅此Topic的每个group中的一个consumer消费。kafka集群：多个kafka实例组成，每个实例(server)称
Kafka支持高吞吐量、高度分布式、容错性强的平台，能够以低延迟传递消息。有几种技术使ApacheKafka如此快速：低延迟消息传递批量数据和压缩水平扩展低延迟消息传递大多数传统的数据系统使用随机存取内存（RAM）进行数据存储，因为RAM提供了极低的延迟。让我们看看使用RAM的优缺点。优点： 这种方法使它们变得非常快速。缺点： RAM的成本远高于磁盘，特别是当系统中有数百GBPS的数据流时。Kafka避免了随机存取内存，它通过顺序I/O和零拷贝原理实现低延迟消息传递。顺序I/O：Kafka在存储和缓存消息时大量依赖文件系统。有一种普遍的看法是“磁盘很慢”，这意味着高寻址时间。想象一下，如果我们
目录一.kafka的概述1.定义2.消息队列2.1传统消息队列应用场景 2.2消息队列的两种模式 二、kafka的基础架构1.kafka基础架构的简介2.kafka的详细基础架构三、安装部署1.kafka的分布式2.集群部署 四、命令操作1.主题命令操作2.生产者命令操作 3.消费者命令操作 五、kafka生产者模式1.生产者消息发送流程2、异步发送API3.同步发送API4、生产者分区（1）kafka分区的好处（3）自定义分区器5、生产经验（1）生产者如和提高吞吐量 （2）数据可靠性 （3）数据去重 （4）数据有序（5）数据乱序六、kafkabroker 1、kafkabroker工作流程（
语义概念1brokerKafka集群包含一个或多个服务器，服务器节点称为broker。broker存储topic的数据。如果某topic有N个partition，集群有N个broker，那么每个broker存储该topic的一个partition。如果某topic有N个partition，集群有(N+M)个broker，那么其中有N个broker存储该topic的一个partition，剩下的M个broker不存储该topic的partition数据。如果某topic有N个partition，集群中broker数目少于N个，那么一个broker存储该topic的一个或多个partition。在
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、安装java（Kafka必须安装java，因为kafka依赖java核心）二、安装以及配置Kafka、zookeeper1.下载Kafka（无需下载zookeeper，使用kafka自带的即可）2.配置topid3.安装PHP的rdkafka，这个网上教程很多，基本上都是正确的前言提示：windows环境安装失败，Linux环境安装成功（以下并没有windows安装示例）一、安装java（Kafka必须安装java，因为kafka依赖java核心）下载地址：链接:https://www.oracle.com/jav
