kafka常用命令查看kafka集群topic数量查看topic元数据信息topic分区扩容topic创建修改topic数据过期时间查看数据偏移量查看kafka集群中所有消费组查看消费组积压消费信息生成者生产消息消费者消费查看kafka集群topic数量./kafka-topics.sh--list--zookeeperip:2181示例：[root@masterbin]#./kafka-topics.sh--list--zookeeper127.0.0.1:2181__consumer_offsetssend_test查看topic元数据信息./kafka-topics.sh--descri
一、概述消息队列中间件（MQ）是不同系统之间消息传递，异步通信的常见组件，RabbitMQ、Kafka和RocketMQ是目前业界常见的3种消息中间件，本文重点阐述了他们特性差异、架构设计和处理常见问题的方案。二、特性比较RabbitMQ适合于中小规模的使用场景，是目前业界使用最广泛的一种MQ，其完全实现了AMQP的协议，实现了非常丰富的消息可靠性的保障机制，和其他MQ相比，其在可靠性方面是最强的，但也正是由于可靠性方面实现机制过于沉重，导致其吞吐量并不高，在生产环境经常会出现消息积压的问题。Kafka适合于实时流处理的使用场景，在大数据处理领域经常见到，可以用来处理海量的日志数据和IoT海量
1软件版本kafka_2.12-2.4.0.tgz（带zookeeper）2kafka服务端部署2.1将安装包上传到服务器，并解压tarzxvfkafka_2.12-2.4.0.tgz-C/datamvkafka_2.12-2.4.0kafka2.2修改kafka配置文件server.propertiesvim/data/kafka/config/server.properties:#############################ServerBasics##############################Theidofthebroker.Thismustbesettoauni
ansible部署zookeeper和kafka集群基础环境准备配置ansible文件（zookeeper）配置ansible文件（kafka）节点IPansible192.168.200.75node1192.168.200.76node2192.168.200.77node3192.168.200.78基础环境准备基础环境配置就不过多赘述了主机名、主机解析、免密访问、ansible下载、配置ansible主机、防火墙、selinux、配置centos2009镜像、配置ftp远程。均已配置配置ansible文件（zookeeper）在ansible节点的/root目录下创建example目录
CDP717环境使用kafka-console-consumer命令消费kafka报错如下23/03/2809:19:07WARNclients.NetworkClient:[ConsumerclientId=consumer-console-consumer-52833-1,groupId=console-consumer-52833]Bootstrapbrokerxx.xx.xx.xx:9092(id:-1rack:null)disconnected原因是因为kafka开启了kerberos具体检查可见1、InClouderaManager,navigatetoKafka>Configur
一、什么是kafka，什么是rabbit Kafka是由Scala语言开发的一种分布式流处理框架，主要用于处理活跃的流式数据，以及大数据量的数据处理。它采用发布-订阅模型，支持消息的批量处理，数据的存储和获取是本地磁盘顺序批量操作，这使得消息处理的效率较高，吞吐量较大。 RabbitMQ则是由Erlang语言开发，主要用于实时的、对可靠性要求较高的消息传递。它采用AMQP（高级消息队列协议）进行消息的传递，并且有一个broker（消息代理）作为中心，可以确认消息的传递。RabbitMQ支持消息的可靠的传递，支持事务，但并不支持批量操作，基于存储的可靠性的要求存储可以采用内存或硬盘，但吞吐量
一、前言在如今的分布式环境时代，任何一款中间件产品，大多都有一套机制去保证一致性的，Kafka作为一个商业级消息中间件，消息一致性的重要性可想而知，那Kafka如何保证一致性的呢？本文从高水位更新机制、副本同步机制以及LeaderEpoch几个方面去介绍Kafka是如何保证一致性的。二、HW和LEO要想Kafka保证一致性，我们必须先了解HW（HighWatermark）高水位和LEO（LogEndOffset）日志末端位移，看下面这张图你就清晰了：image.png高水位的作用：定义消息可见性，即用来标识分区下的哪些消息是可以被消费者消费的。帮助Kafka完成副本同步这里我们不讨论Kafka
基本比较常见的知识都扫一遍（我扫的是一份30个章节分类的Java知识大全整理），然后用思维导图捋顺复习思路（我这儿有JVM、Spring、SpringBoot、性能调优、多线程、高并发、Redis、MySQL、kafka、RabbitMQ等），常见的考点深入源码（这边源码我主要是算法的源码、Spring的源码等），然后就是刷题目了。简单说说...（其实这些“Java知识大全整理、思维导图、源码、算法、还有刷题大全1000以及各大厂的面经”我这儿都有整理Java知识大全整理这个PDF真的很全面，有JVM，JAVA集合，JAVA多线程并发，JAVA基础，Spring原理，微服务，Netty与RPC
开发中，服务与服务之间通信通常会用到消息中间件，如果我们使用了某一个MQ，那么消息中间件与我们的系统算是高耦合。将来有一天，要替换成另外的MQ，我们的改动就会比较大。为了解决这个问题，我们可以使用SpringCloudStream来整合我们的消息中间件，降低耦合度，使服务可以更多关注自己的业务逻辑等。今天为大家带来一个人人可实操的SpringCloudStream集成Kafka的快速入门示例。1前言SpringCloudStream是一个构建高扩展性的事件消息驱动的微服务框架。简单点说就是帮助你操作MQ，可以与底层MQ框架解耦。将来想要替换MQ框架的时候会比较容易。Kafka是一个分布式发布-
在上一课时中我们提过在实时计算的场景下，绝大多数的数据源都是消息系统，而Kafka从众多的消息中间件中脱颖而出，主要是因为高吞吐、低延迟的特点；同时也讲了Flink作为生产者像Kafka写入数据的方式和代码实现。这一课时我们将从以下几个方面介绍Flink消费Kafka中的数据方式和源码实现。Flink如何消费KafkaFlink在和Kafka对接的过程中，跟Kafka的版本是强相关的。上一课时也提到了，我们在使用Kafka连接器时需要引用相对应的Jar包依赖，对于某些连接器比如Kafka是有版本要求的，一定要去官方网站找到对应的依赖版本。我们本地的Kafka版本是2.1.0，所以需要对应的类是
