1.背景Kafka 是我们公司各个部门的重要数据中间件，主要用于上报、暂存和分发各种数据。我们不仅支持大数据场景，同时也保障在线场景的稳定性。我们拥有1000+台Kafka机器，组成了20多个集群，针对不同业务场景配置了不同规格的机器，磁盘类型包括HDD，SSD和NVME。每日PB级输入，输出数十PB，肩负着公司数据传输的重任。随着集群规模的扩张，我们也遇到了越来越多的挑战。图片2.面临的挑战与痛点客户端的读写方式多种多样，难以预测，集群的稳定性和资源利用率难以协调。过高的读写操作可能会导致机器磁盘I/O爆满，影响用户的读写体验。集群多业务共用，如何减少核心业务与普通业务的互相影响，减少爆炸半
由于项目需要kafka支持认证功能，就把kafka升级到3.2.0了。之前一直使用的kafkatools(现在叫OffsetExplorer，个人使用免费，商用付费)，开了认证之后就不好用了，卡的很，一点也不丝滑了，于是只好重新发掘新的工具，然后就发现了这款名为kafka-ui(github地址)的管理工具。它是一款web的工具，开源，并且官网提供了docker镜像，安装部署很方便。以下动图是其官网展示的UI图片，功能非常强大： 如果对该项目没有修改的需求，那么可以直接部署，官网提供了docker或者直接通过jar运行的部署模式。详情请见官网，这里不做赘述。下面主要介绍在本地bu
文章目录引言KafkaEagle简介KafkaEagle的特点KafkaEagle的优势使用KafkaEagle的步骤结论引言在现代大数据架构中，ApacheKafka已成为一个不可或缺的组件，用于可靠地处理和传输大规模的数据流。然而，随着Kafka集群规模的不断增长，监控和管理这一复杂的基础设施变得愈加重要。为了有效地监控和维护Kafka集群，KafkaEagle作为一款强大的监控工具应运而生。本文将深入探讨KafkaEagle的特点、优势以及如何使用它来实时洞察您的Kafka集群。KafkaEagle简介KafkaEagle是一款开源的、高度可定制的监控和告警工具，专门为ApacheKaf
漏洞描述SpringKafka是SpringFramework生态系统中的一个模块，用于简化在Spring应用程序中集成ApacheKafka的过程，记录(record)指Kafka消息中的一条记录。受影响版本中默认未对记录配置 ErrorHandlingDeserializer，当用户将容器属性 checkDeserExWhenKeyNull 或 checkDeserExWhenValueNull 设置为true(默认为false)，并且允许不受信任的源发布到Kafka主题中时，攻击者可将恶意payload注入到Kafka主题中，当反序列化记录头时远程执行任意代码。影响版本2.8.1漏洞复现
有的时候博客内容会有变动，首发博客是最新的，其他博客地址可能会未同步,认准https://blog.zysicyj.top首发博客地址系列文章地址Kafka是什么？一句话概括：「ApacheKafka是一款开源的消息引擎系统」什么是消息引擎系统？消息引擎系统（MessageBrokerSystem）是一种中间件软件或服务，用于在分布式系统中进行异步消息传递。它提供了可靠的消息传输、消息路由和消息处理的功能，使不同的应用程序和组件能够通过发送和接收消息进行通信。消息引擎系统通常由以下几个核心组件组成：发布者（Publisher）：负责将消息发布到消息引擎系统中。发布者将消息发送到指定的主题（To
译者|李睿审校|重楼ApacheKafka通常简称为Kafka，是由Apache软件基金会维护的一个开源事件流平台。ApacheKafka最初是在LinkedIn构思的，由JayKreps、NehaNarkhede和JunRao合作创建，并于2011年作为开源项目发布。如今，Kafka已成为最流行的事件流平台之一，用于处理实时数据源。它被广泛用于构建可扩展、容错和高性能的流式数据管道。Kafka的用途在不断扩大，主要的五个案例由BrijPandey在随附的图片中很好地说明了这一点。作为一个简单的入门，了解Kafka平台的组件及其工作方式非常重要。Kafka是一个分布式事件流平台，旨在有效地处理
文章目录offset的默认维护位置消费`__consumer_offsets`案例自动提交offsetCode手动提交offsetCode同步提交Code异步提交指定offset消费（auto.offset.reset=earliest|latest|none|）数据漏消费和重复消费分析offset的默认维护位置由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需要从故障前的位置的继续消费，所以consumer需要实时记录自己消费到了哪个offset，以便故障恢复后继续消费。Kafka0.9版本之前，consumer默认将offset保存在Zookeeper中，
文章目录概要端点注册创建监听容器启动监听容器消息拉取与消费小结概要本文主要从SpringKafka的源码来分析，消费端消费流程；从spring容器启动到消息被拉取下来，再到执行客户端自定义的消费逻辑，大致概括为以下4个部分：源码分析主要也是从以上4个部分进行分析;环境准备maven依赖如下： parent>groupId>org.springframework.bootgroupId>artifactId>spring-boot-starter-parentartifactId>version>2.2.6.RELEASEversion>relativePath/>parent> depende
前言在上一篇文章中，写到了如何在springboot中生产者如何使用kafka的事务，详情链接：Springboot使用kafka事务-生产者方那么，这一篇就接着上篇所写的内容，讲解一下再springboot中消费者如何使用kafka的事务。实现在springboot中kafka的消费者配置也和生产者一样，有两种配置的方式：第一种是使用springboot提供的自定装配机制第二种是自定义配置自动装配机制在springboot的配置文件中加入以下代码即可实现spring: kafka: bootstrap-servers:localhost:9092 consumer: group-id:te
系列文章目录上手第一关，手把手教你安装kafka与可视化工具kafka-eagleKafka是什么，以及如何使用SpringBoot对接Kafka架构必备能力——kafka的选型对比及应用场景Kafka存取原理与实现分析，打破面试难关防止消息丢失与消息重复——Kafka可靠性分析及优化实践保障效率与可靠性，详细分析Kafka的消费者组与Rebalance机制系列文章目录一、消费者组概念二、消费者组的作用1.分区分配策略2.分配原理三、Rebalance机制1.Rebalance的作用2.Rebalance的实现3.Rebalance的优劣四、减少Rebalance的发生总结我们上一期从可靠性分
