草庐IT

Kafka-eagle

全部标签

图解 Kafka 源码之 NetworkClient 网络通信组件架构设计

大家好,我是 华仔,又跟大家见面了。上篇主要带大家深度剖析了「发送网络I/O的Sender线程的架构设计」,消息先被暂存然后调用网络I/O组件进行发送,今天主要聊聊「真正进行网络I/O的NetworkClient的架构设计」深度剖析下消息是如何被发送出去的。认真读完这篇文章,我相信你会对KafkaNetworkClient的源码有更加深刻的理解。这篇文章干货很多,希望你可以耐心读完。一、总的概述继续通过「场景驱动」的方式,来看看消息是如何在客户端被累加和待发送的。在上篇中,我们知道了消息被Sender子线程先暂存到KafkaChannel的Send字段中,然后调用NetworkClient#c

图解 Kafka 源码之 NetworkClient 网络通信组件架构设计

大家好,我是 华仔,又跟大家见面了。上篇主要带大家深度剖析了「发送网络I/O的Sender线程的架构设计」,消息先被暂存然后调用网络I/O组件进行发送,今天主要聊聊「真正进行网络I/O的NetworkClient的架构设计」深度剖析下消息是如何被发送出去的。认真读完这篇文章,我相信你会对KafkaNetworkClient的源码有更加深刻的理解。这篇文章干货很多,希望你可以耐心读完。一、总的概述继续通过「场景驱动」的方式,来看看消息是如何在客户端被累加和待发送的。在上篇中,我们知道了消息被Sender子线程先暂存到KafkaChannel的Send字段中,然后调用NetworkClient#c

第十二节 Apache Kafka 工具

Kafka在“org.apache.kafka.tools。"下打包的工具。工具分为系统工具和复制工具。系统工具可以使用运行类脚本从命令行运行系统工具。语法如下-bin/kafka-run-class.shpackage.class--options复制工具Kafka复制是一个高级设计工具。添加复制工具的目的是为了更强的耐用性和更高的可用性。下面提到一些复制工具-创建主题工具-这将创建一个带有默认分区数,复制因子的主题,并使用Kafka的默认方案进行副本分配。列表主题工具-此工具列出了指定主题列表的信息。如果命令行中没有提供主题,该工具将查询Zookeeper以获取所有主题并列出它们的信息。工

第十二节 Apache Kafka 工具

Kafka在“org.apache.kafka.tools。"下打包的工具。工具分为系统工具和复制工具。系统工具可以使用运行类脚本从命令行运行系统工具。语法如下-bin/kafka-run-class.shpackage.class--options复制工具Kafka复制是一个高级设计工具。添加复制工具的目的是为了更强的耐用性和更高的可用性。下面提到一些复制工具-创建主题工具-这将创建一个带有默认分区数,复制因子的主题,并使用Kafka的默认方案进行副本分配。列表主题工具-此工具列出了指定主题列表的信息。如果命令行中没有提供主题,该工具将查询Zookeeper以获取所有主题并列出它们的信息。工

kafka集群部署

基本信息:环境:centos7.9集群信息:ip:10.10.5.26ip:10.10.5.25ip:10.10.5.24服务信息:zookeeper版本3.6.3kafka版本:2.8.11.安装Zookeeper#上传安装包,并创建zookeeper目录mkdir-p/usr/local/zookeepertar-xzvfzookeeper-3.6.3.tar.gz-C/usr/local/zookeepercd/usr/local/zookeeper/#创建data和logs目录,用于存放产生的数据和日志文件mkdirdatamkdirlogsmvapache-zookeeper-3.6

kafka集群部署

基本信息:环境:centos7.9集群信息:ip:10.10.5.26ip:10.10.5.25ip:10.10.5.24服务信息:zookeeper版本3.6.3kafka版本:2.8.11.安装Zookeeper#上传安装包,并创建zookeeper目录mkdir-p/usr/local/zookeepertar-xzvfzookeeper-3.6.3.tar.gz-C/usr/local/zookeepercd/usr/local/zookeeper/#创建data和logs目录,用于存放产生的数据和日志文件mkdirdatamkdirlogsmvapache-zookeeper-3.6

Kafka基于Kraft下的权限控制

Kafka基于Kraft下的权限控制本文基于kafka的版本3.2.0,之前的版本无法使用本文所提到的方法。本文方法对kafka源代码有修改修改部分如下(metadata\src\main\java\org\apache\kafka\metadata\authorizer\StandardAuthorizerData.java):voidaddAcl(Uuidid,StandardAclacl){try{StandardAclprevAcl=aclsById.putIfAbsent(id,acl);if(prevAcl!=null){log.warn("AnACLwithID"+id+"alr

Kafka基于Kraft下的权限控制

Kafka基于Kraft下的权限控制本文基于kafka的版本3.2.0,之前的版本无法使用本文所提到的方法。本文方法对kafka源代码有修改修改部分如下(metadata\src\main\java\org\apache\kafka\metadata\authorizer\StandardAuthorizerData.java):voidaddAcl(Uuidid,StandardAclacl){try{StandardAclprevAcl=aclsById.putIfAbsent(id,acl);if(prevAcl!=null){log.warn("AnACLwithID"+id+"alr

【kafka】kafka管理之修改topic副本数

如下示例将主题foo的分区0的复制因子从1增加到3。在增加复制因子之前,该分区的唯一副本存在于broker.id为5的节点上,我们将在broker.id为6和7的节点上各增加一个副本。参考  Kafka——副本(Replica)机制https://www.cnblogs.com/caoweixiong/p/12049462.htmlkafka调整partiton数目和replicafactorhttps://www.zhyea.com/2018/07/13/kafka-reset-partition-num-and-replica-factor.htmlkafkareplicationtool

kafka可视化工具Kafka Tool安装使用

kafka可视化工具KafkaTool安装使用KafkaTool是一款Kafka的可视化客户端工具,可以非常方便的查看Topic的队列信息、消费者信息以及kafka节点信息。这款软件支持在Windows、Mac和Linux上面运行,我们到其官网选择合适的版本下载安装即可:官网地址:https://www.kafkatool.com/download.htmlMacBookLinux安装KafkaLinux解压安装KafkaKafkaTool安装下载对应系统架构的kafkatool包[图片上传失败...(image-40f068-1648906634060)]点击安装[图片上传失败...(ima