消息队列前世今生1.1案例一：系统崩溃首先大家跟着我想象一下下面的这个的场景，看到新出的游戏机，太贵了买不起，这个时候你突然想到，今天抖音直播搞活动，打开抖音搜索，找到直播间以后，你点开了游戏机详情页，看到价格只要500。这个时候我们分析一下，就我们上面这几步操作，在我们的程序背后，做了什么事情。首先，请求会先到搜索商品这个服务上，并记录下你的搜索行为;然后点击商品的时候，又记录了我们的点击商品，这些数据最终都会通过计算分析;目的是为了下一次给你更准确的信息，这个时候问题来了，如果这个时候，负责记录存储的数据库被一个小哥删库跑路了。我们的所有操作都动不了了，这个时候我们应该怎么办，带着这个问

架构原理一、高性能读写架构原理——顺序写+零拷贝首先了解两个专业术语，研究kafka这个东西，你必须得搞清楚这两个概念，吞吐量，延迟。写数据请求发送给kafka一直到他处理成功，你认为写请求成功，假设是1毫秒，这个就说明性能很高，这个就是延迟。kafka，每毫秒可以处理1条数据，每秒可以处理1000条数据，这个单位时间内可以处理多少条数据，就叫做吞吐量，1000条数据，每条数据10kb，10mb，吞吐量相当于是每秒处理10mb的数据1.Kafka是如何利用顺序磁盘写机制实现单机每秒几十万消息写入的？kafka的特点：高吞吐低延迟直接写入os的pagecache中文件，kafka仅仅是追加数据到

1、kafkaconfig服务端配置文件server.properties        server.properties中加上的message.max.bytes配置，我目前设置为5242880，即5MB，可以根据实际情况增大。message.max.bytes=5242880        在生产者端配置max.request.size，这是单个消息最大字节数，根据实际调整，max.request.size必须小于message.max.bytes以及消费者的max.partition.fetch.bytes。这样消息就能不断发送。2、重启kafka服务3、生产者配置#发送所有ISRac

kafka消费者消费者的消费方式为主动从broker拉取消息，由于消费者的消费速度不同，由broker决定消息发送速度难以适应所有消费者的能力拉取数据的问题在于，消费者可能会获得空数据消费者组工作流程ConsumerGroup（CG）：消费者组由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。消费者组之间互不影响。所有的消费者都属于某个消费者组（即使只有一个消费者），即消费者组是逻辑上的一个订阅者分区和消费者的分配取决于具体的分配策略如果消费者组中的消费者数量超过分区数量，则会由部

Kafka概述Kafka基础架构生产者消息发送流程生产者发送消息示例分区的好处生产者如何提高吞吐量可靠性总结幂等性问题Kafka事务生产者乱序问题​kafka是一个多分区、多副本且基于zookeeper协调的分布式消息系统。也是一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前企业中比较常见的消息队列产品主要有Kafka、ActiveMQ、RabbitMQ、RocketMQ等。在大数据场景主要采用Kafka作为消息队列。在JavaEE开发中主要采用ActiveMQ、RabbitMQ、RocketMQ。官网地址：https://kafka.apa

目录一、例子说明1.1、概述1.1、所需环境1.2、执行流程 二、部署环境2.1、中间件部署2.1.1部署kakfa2.1.1.1上传解压kafka安装包2.1.1.2 修改zookeeper.properties2.1.1.3 修改server.properties2.1.1.3启动kafka2.1.2、部署flink2.1.2.1上传解压flink安装包 2.1.2.1修改flink配置2.1.2.3 flink单节点启动与停止命令2.1.3、部署doris2.1.3.1下载安装包并上传服务器 2.1.3.2 配置dorisfe（前端） 2.1.3.3 启动dorisfe（前端）  2.1

一、基于前面kafka部署大数据-玩转数据-Kafka安装二、FLINK中编写代码packagecom.lyh.flink04;importorg.apache.flink.api.common.serialization.SimpleStringSchema;importorg.apache.flink.streaming.api.environment.StreamExecutionEnvironment;importorg.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer;importjava.util.Properti

上传、解压新版本kafka到/opt/kafka：kafka_2.12-3.4.0.tgz将旧版本的config/server.properties拷贝覆盖到新版本，并且修改以下配置authorizer.class.name=kafka.security.authorizer.AclAuthorizer将旧版本的kafka-broker-jaas.conf文件覆盖到新版本（acl权限，没做可以忽略）ps：如果还修改了config底下的其他配置文件，酌情进行修改修改启动配置：/opt/kafka/kafka_2.12-3.4.0/bin/kafka-server-start.sh脚本最后一行配置

目录​​​​​​​1. Kafka配置Kerberos​​​​​​​2. 客户端操作Kafka​​​​​​​3. JavaAPI操作Kafka4.StructuredStreaming操作Kafka5.Flink操作Kafka技术连载系列，前面内容请参考前面连载11内容:​​​​​​​​​​​​​​Kerberos安全认证-连载11-HBaseKerberos安全配置及访问_IT贫道的博客-CSDN博客1. Kafka配置KerberosKafka也支持通过Kerberos进行认证，避免非法用户操作读取Kafka中的数据，对Kafka进行Kerberos认证可以按照如下步骤实现。1)创建Kaf

一、添加依赖org.apache.kafkakafka-clients3.5.1二、生产者自定义分区，可忽略importorg.apache.kafka.clients.producer.Partitioner;importorg.apache.kafka.common.Cluster;importjava.util.Map;publicclassMyPatitionerimplementsPartitioner{@Overridepublicintpartition(Stringtopic,Objectkey,byte[]keyBytes,Objectvalue,byte[]valueByt