目录消息发送消息生产流程ProducerRecord序列化器分区器拦截器生产者原理剖析主线程消息累加器发送线程生产者参数消息发送消息生产流程整个流程如下：Producer创建时，会创建一个Sender线程并设置为守护线程。生产消息时，内部其实是异步流程；生产的消息先经过拦截器->序列化器->分区器，然后将消息缓存在缓冲区（该缓冲区也是在Producer创建时创建）。批次发送的条件为：缓冲区数据大小达到batch.size或者linger.ms达到上限，哪个先达到就算哪个。批次发送后，发往指定分区，然后落盘到broker；如果生产者配置了retrires参数大于0并且失败原因允许重试，那么客户端

Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Zookeeper工作机制Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。Zookeeper特点Zookeeper：一个领导者（Leader），多个跟随者（Follower）组成的集群。集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。所以Zookeeper适合安装奇数台服务器。全局数据一

SASL/SCRAM验证可以动态新增用户并分配权限。SASL/SCRAM通过将认证用户信息保存在ZooKeeper的方式，避免了动态修改需要重启Broker的弊端。在实际使用过程中，可以使用Kafka提供的命令动态地创建和删除用户，无需重启整个集群。因此，如果打算使用SASL/PLAIN，不妨改用SASL/SCRAM试试。不过要注意的是，后者是0.10.2版本引入的。kafka官方文档：https://kafka.apache.org/documentation/#security_sasl_scram一、配置配置SCRAM证书下面命令创建了一个证书：tly密码是：123456kafka-co

第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库（关系型数据库中）1）业务数据：主要指的是各行业在处理事务过程中产生的业务数据2）产生：用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据3）存储：都是存储到关

下载地址：https://mirrors.cnnic.cn/apache/kafka一、系统构成在整个消息发布流程中，kafka作为一个中间件对系统的运行提供了解耦、削峰、异步处理的能力。由生产者发起信息同步条件，中间件作为信息转储的角色对news进行发布。消费者会通过offset来保证接收最新的消息主要由生产者、消费者、中间件构成。中间件由producer生产者brokerkafka实现实例其可实现主要功能部分topic每个kafka实例内部的消息类型每个实例内部可存在多个topicpartition消息类型分组，每组的数据不同。每个topic内存在多个partitionmessage每条发

 Zookeeper  在学习kafka之前，我们需要先学习Zookeeper，那Zookeeper是什么呢？Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Zookeeper工作机制        Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。也就是说Zookeeper=文件系统+通知机制。Zookeeper特点Zookeeper是一个领导者（Le

1.背景介绍Zookeeper是一个开源的分布式协调服务，由Yahoo!开发并于2008年发布。它为分布式应用提供一致性、可靠性和可扩展性的基础设施。Zookeeper的核心功能包括：集中式配置服务：允许应用程序从Zookeeper中获取动态更新的配置信息。分布式同步服务：允许应用程序在Zookeeper中创建、读取和监听Z节点的变化。领导者选举：允许应用程序在Zookeeper集群中选举出一个领导者，以解决分布式系统中的一些问题，如数据一致性和集中锁定。命名服务：允许应用程序在Zookeeper中创建、读取和监听命名空间的节点。Zookeeper的设计目标是简单、可靠和高性能。它通过一系列的

目录前言分布式架构：消息发布-订阅模型：持久性存储：分区和副本：水平扩展：高性能：生态系统：我的其他博客前言Kafka是由Apache软件基金会开发的一种开源流处理平台，最初是由LinkedIn公司开发的。它是一个分布式的、可水平扩展的发布-订阅消息系统，主要用于构建实时数据管道和流应用程序。以下是Kafka的一些详细介绍：分布式架构：Kafka是一个分布式系统，允许数据被分布式地存储在多个节点上。这种架构设计使得Kafka具有高可用性和可伸缩性，可以处理大量数据并提供容错机制。消息发布-订阅模型：Kafka使用发布-订阅模型，其中数据由生产者生产并发送到主题（Topic），然后由消费者订阅这

Zookeeper在学习Zookeeper之前，我们还是先了解它的概念：一、什么是zookeeper?1、简介zooKeeper是一个开放源码的分布式协调服务，主要为了解决分布式架构下数据一致性问题，它是集群的管理者，监视着集群中各个节点的状态，根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户2、应用场景分布式配置中心、分布式注册中心、分布式锁、分布式队列、集群选举、分布式屏障、发布/订阅等场景。二、Zookeeper数据结构1、简介Zookeeper的数据模型类似于文件系统，是树状结构，每个树节点（目录）对应一个Znode节点。这些目录节点和我