1Zookeeper1.1Zookeeper概述Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。分布式系统管理框架，主要用来解决分布式应用集群中应用系统的一致性问题，想大于各种分布式应用的注册中心+文件系统+通知机制本质用于注册各种分布式应用，存储和管理这些分布式应用的元数据，如果应用或服务本身状态发生变化就会通知到客户端数据结构ZooKeeper数据模型的结构与Linux文件系统很类似，整体上可以看作是一棵树，每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。1.2Zookeeper工作机制Zoo
Windows下安装使用Kafka(使用Kafka内置的ZooKeeper)Kafka2.8版本才开始自带了Zookeeper，所以注意下版本kafka官网：https://kafka.apache.orgkafka配置快速入门：https://kafka.apache.org/quickstartkafka下载页面：https://kafka.apache.org/downloads下载完成后解压到当前目录修改config下的zookeeper.properties#dataDir是zookeeper持久化数据存放的目录dataDir=D:/DevApplication/Kafka/zook
文章目录前言写法一：发送的消息对象是字符串1创建项目2项目结构3application.yml配置文件4生产者KafkaProducerComponent5消费者KafkaConsumerComponent6控制器（GET请求发送消息）7启动类8测试效果写法二：发送复杂消息对象1创建项目2项目结构3application.yml配置文件4信任的包中定义的实体类4.1kafka消息接口规则定义4.2测试实体定义5生产者KafkaObjectSerializerProducerComponent6消费者KafkaObjectSerializerConsumerComponent7控制器（GET请求
今天给大家分享一个阿里开源的数据同步工具DataX，在Github拥有14.8k的star，非常受欢迎，地址：https://github.com/alibaba/DataX什么是Datax?DataX是阿里云DataWorks数据集成的开源版本，使用Java语言编写，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS,databend等各种异构数据源之间高效的
目录消息发送消息生产流程ProducerRecord序列化器分区器拦截器生产者原理剖析主线程消息累加器发送线程生产者参数消息发送消息生产流程整个流程如下：Producer创建时，会创建一个Sender线程并设置为守护线程。生产消息时，内部其实是异步流程；生产的消息先经过拦截器->序列化器->分区器，然后将消息缓存在缓冲区（该缓冲区也是在Producer创建时创建）。批次发送的条件为：缓冲区数据大小达到batch.size或者linger.ms达到上限，哪个先达到就算哪个。批次发送后，发往指定分区，然后落盘到broker；如果生产者配置了retrires参数大于0并且失败原因允许重试，那么客户端
SASL/SCRAM验证可以动态新增用户并分配权限。SASL/SCRAM通过将认证用户信息保存在ZooKeeper的方式，避免了动态修改需要重启Broker的弊端。在实际使用过程中，可以使用Kafka提供的命令动态地创建和删除用户，无需重启整个集群。因此，如果打算使用SASL/PLAIN，不妨改用SASL/SCRAM试试。不过要注意的是，后者是0.10.2版本引入的。kafka官方文档：https://kafka.apache.org/documentation/#security_sasl_scram一、配置配置SCRAM证书下面命令创建了一个证书：tly密码是：123456kafka-co
第1章：数据仓库1.1数据仓库概述1.1.1数据仓库概念1、数据仓库概念：为企业制定决策，提供数据支持的集合。通过对数据仓库中数据的分析，可以帮助企业，改进业务流程、控制成本，提高产品质量。数据仓库并不是数据的最终目的地，而是为数据最终的目的地做好准备，这些准备包括对数据的：清洗、转义、分类、重组、合并、拆分、统计等。2、数据仓库的数据通常包括：业务数据、用户行为数据和爬虫数据等3、业务系统数据库（关系型数据库中）1）业务数据：主要指的是各行业在处理事务过程中产生的业务数据2）产生：用户在电商网站中登录、下单、支付等过程中，需要和网站后台数据库进行增删改查交互，产生的数据3）存储：都是存储到关
下载地址：https://mirrors.cnnic.cn/apache/kafka一、系统构成在整个消息发布流程中，kafka作为一个中间件对系统的运行提供了解耦、削峰、异步处理的能力。由生产者发起信息同步条件，中间件作为信息转储的角色对news进行发布。消费者会通过offset来保证接收最新的消息主要由生产者、消费者、中间件构成。中间件由producer生产者brokerkafka实现实例其可实现主要功能部分topic每个kafka实例内部的消息类型每个实例内部可存在多个topicpartition消息类型分组，每组的数据不同。每个topic内存在多个partitionmessage每条发
1、新建一个文件夹并命名好2、打开vscode，点击源代码管理 3、点击Ctrl+shift+p（快捷键）打开如图所示,选择Git：克隆 4、输入git仓库地址并回车 5、选择新建的那个文件夹 6、然后再用vscode打开文件（可选择自己需要的分支） 7、在vscode左下角切换分支8、编写、修改完代码之后点击源代码管理，便可备注，点击提交代码到git9、若想同步组员代码要在组员分支终端输入：gitpull10、若想合并组员分支可在终端输入：gitmerge+组员分支名合并组员分支前需要先同步组员代码11、最后再输入gitpush推到自己的远程分支
目录一、搭建环境：1.1下载软件上传到linux目录/data/soft下1.2 把所有软件解压到/data/es-cluster二、单节点（多节点同理）集群部署elasticsearch2.1创建es用户2.2准备节点通讯证书2.3配置elasticsearch，编辑/data/es-cluster/elasticsearch-7.9.0-node1/config/elasticsearch.yml文件2.4在每一台集群机器上修改linux读写配置2.5使用ik分词器编辑2.6启动es服务2.7es加密访问（只需要一个节点执行即可，es会把密码创建到.security索引下）2.8测试访问
