上一篇介绍了zookeeper的作用以及原理，这一篇我们介绍消息中间件kafka以及为什么要用kafka，什么业务场景下需要kafka，还有不同业务场景应该用哪一种消息中间件。最后还有kafka集群的搭建。注，kafka从2.8版本开始已经在逐步取消依赖zookeeper了，本文依赖zookeeper以及不依赖zookeeper改用Kraft模式都会介绍。kafka是什么在说kafka是什么之前，我们应该先知道，消息中间件是什么。举个例子，大家网上买东西，现在很多时候都会放到驿站或者快递柜，而不是快递员直接送到你手上，然后你什么时候去取快递，那就是你的事了，那在这个过程中，中间的这个驿站或者快
kafka报错报错信息一：启动Kafka出现TheClusterIDdoesn’tmatchstoredclusterId错误需要删除在kafka路径下面的logs里面的meta.properties，这是因为cluster.id不匹配报错信息二：ERRORorg.apache.kafka.common.errors.InvalidReplicationFactorException:Replicationfactor:2largerthanavailablebrokers:1.(kafka.admin.TopicCommand$)出现这个错误可以去查看kafka下面的advertised后面
目录一、Kafka事务性消息1.1介绍Kafka事务性消息1.2事务性消息的应用场景1.3Kafka事务性消息的优势二、Kafka事务性消息的使用2.1配置Kafka以支持事务性消息生产者配置消费者配置2.2生产者：发送事务性消息创建Kafka生产者开始事务发送消息提交或中止事务2.3消费者：处理事务性消息创建Kafka消费者订阅主题处理消息提交位移三、事务性消息的最佳实践3.1保障消息的一次交付3.1.1生产者幂等性3.1.2消费者去重3.2事务性消息的监控和故障排查3.2.1监控工具3.2.2故障排查3.3事务性消息的性能考量3.3.1性能调整3.3.2吞吐量优化四、示例：生产和消费Kaf
目录kafka是什么TopicPartitionBrokerCousumerCousumerGroupOffsetreblancebroker消息存储Isrkafka是什么Kafka 是一个分布式的消息引擎，能够发布和订阅消息流（类似于消息队列）以容错的、持久的方式存储消息流多分区概念，提高了并行能力。架构如下图：Topic消息的主题、队列，每一个消息都有它的topic，Kafka通过topic对消息进行归类。Kafka中可以将Topic从物理上划分成一个或多个分区（Partition），每个分区在物理上对应一个文件夹，以”topicName_partitionIndex”的命名方式命名，该d
一、引言1.背景和RabbitMQ类似，Kafka（全称ApacheKafka）是一个分布式发布-订阅消息系统。自Apache2010年开源这个顶级实用项目以来，至今已有十数年，Kafka仍然是非常热门的一个消息中间件，在互联网应用里占据着举足轻重的地位。甚至，技术圈一度将Kafka评为消息队列大数据领域中的最强王者！Kafka以其速度快（ms级的顺序写入和零拷贝）、性能高（TB级的高吞吐量）、高可靠（有热扩展，副本容错机制能力）和高可用（依赖Zookeeper作分布式协调）等特点闻名于世，它非常适合消息、日志和大数据业务的存储和通信。本文接下来将会从下载安装，配置修改，收发消息等理论和实践入
1特征2入门快速启动（演示运行）持久安装设置git3配置向导动态应用程序配置4数据脱敏主题数据脱敏5自定义可插拔serde注册传送门ApacheKafkaUI是一个免费的开源WebUI，用于监控和管理ApacheKafka集群，可方便地查看KafkaBrokers、Topics、消息、Consumer等情况，支持多集群管理、性能监控、访问控制等功能。1特征多集群管理： 在一个地方监控和管理所有集群使用指标仪表板进行性能监控： 使用轻量级仪表板跟踪关键Kafka指标查看KafkaBrokers： 查看主题和分区分配、控制器状态查看Kafka主题： 查看分区计数、复制状态和自定义配置查看消费者组：
一、安装HBase集群1.下载HBaseIndexof/dist/hbase/1.2.1(apache.org)https://archive.apache.org/dist/hbase/1.2.1/安装HBasetar-zxvf/export/software/hbase-1.2.1-bin.tar.gz-C/export/server/1.修改配置文件hbase-env.sh在HBase安装目录下的conf目录，执行“vimhbase-env.sh”命令编辑HBase配置文件hbase-env.sh，配置HBase运行时的相关参数。#指定JDK安装目录。exportJAVA_HOME=/
一、Kafka简介Kafka是一种高吞吐量的基于zookeeper协调的以集群的方式运行的分布式发布订阅消息系统，支持分区（partition）、多副本（replica），具有非常好的负载均衡能力和处理性能、容错能力。Kafka采用发布/订阅模型，消息生产者将消息发送到Kafka的消息中心（broker）中，然后消费者从中心中读取消息。其逻辑架构请见下图所示：Broker是Kafka集群中的服务器节点，每个Broker都是一个独立的服务器，接收来自生产者的消息，并将消息存储在消息队列中。同时，它还处理来自消费者的请求，并将消息发送回消费者。Broker仅仅对消息进行存储和对注册到系统的Cons
消息中间件，RabbitMQ，kafka常见面试题文章目录消息中间件，RabbitMQ，kafka常见面试题RabbitMQ，kafkaRabbitMQ和Kafka的相同点有以下几个：消息中间件面试题-参考回答RabbitMQ，kafkaRabbitMQ和Kafka都是消息队列系统，可以用于流处理。流处理是指对高速、连续、增量的数据进行实时处理。RabbitMQ和Kafka的相同点有以下几个：都是消息队列系统，可以用于流处理、异步通信、解耦等场景都是开源的，有活跃的社区和丰富的文档都支持分布式部署，具有高可用性和可扩展性都支持多种编程语言的客户端，如Java、Python、C#等都支持多种消息
Kafka性能测试一、介绍ApacheKafka官方提供了两个客户端性能测试脚本，它们的存放位置如下：生产者性能测试脚本：$KAFKA_HOME/bin/kafka-producer-perf-test.sh消费者性能测试脚本：$KAFKA_HOME/bin/kafka-consumer-perf-test.shkafka-producer-perf-test.sh支持测试的性能指标包括：吞吐量（throughput）、最大时延（max-latency）、平均时延（avg-latency）；kafka-consumer-perf-test.sh同样支持吞吐量指标，还提供了一些消费端特有的指标，
