1、zookeeper搭建首先创建一个自定义网络，后续的所有容器都放入同一个内网中，容器之间还可以通过容器名称进行直接访问，在后续的配置中只需要写明容器名称即可，会自动找到对应的IP地址，防止重启容器后IP地址发生变化时，还要去修改配置文件的操作dockernetworkcreatekafka-net1、zookeeper单机搭建创建目录mkdir-p/mnt/data/zookeeper/data#数据挂载目录mkdir-p/mnt/data/zookeeper/conf#配置挂载目录mkdir-p/mnt/data/zookeeper/logs#日志挂载目录启动zookeeperdocke
前言环境：centos7.9k8s集群、zookeeper集群本篇将在k8s中部署kafka集群，kafka依赖zookeeper集群，zookeeper集群我们已经搭建好了，可以参考https://blog.csdn.net/MssGuo/article/details/127773132制作对应版本的kafka镜像由于k8s官网没有kafka的相关集群安装说明，所以只好手动制作对应版本的kafka镜像。#kafka需要jdk，所以需要下载jdk，JDK的tar包官网：`https://www.oracle.com/java/technologies/downloads/`自行下载；#这里直
何为FLINK-CDC？CDC是ChangeDataCapture的缩写，中文意思是变更数据获取，flink-cdc的作用是，通过flink捕获数据源的事务变动操作记录，包括数据的增删改操作等，根据这些记录可作用于对目标端进行实时数据同步。下图是flink-cdc最新支持的数据源类型：对有记录事务操作的kafka数据源通过flink-cdc实现实时数据同步kafka的数据源要通过flink-cdc进行实时数据同步，并更新到目标数据库：例如mysql、postgres、oracle等传统关系型数据库，或者是clickhouse、TiDb等关系型数据库，或者是其他，首先要符合以下条件：kafka的
kafka基础概念-ISR详解ISR详解-ISR主要是讲主往从同步中的问题当绿色P1接收到写入的数据，要同步到紫色的P1S1和P1S2如何保证一致性呢？使用InSyncReplicas也就是ISR概念为什么不一致的？因为P1S1同步数据可能花费50msP1S2可能花费60ms同步完的进入ISR集合，同步时间是可以设置规定时间的（容忍时间）没有在规定时间同步完的进入OSR集合绿色部分主要监督紫色部分有没有超时ISR详解—HW–LEOHW:HighWatermark,高水位线，消费者只能最多拉取到高水位线的消息LEO:LogEndOffset,日志文件的最后一条记录的offset(偏移量)ISR集
liunx服务器安装kafka1.初始化安装环境1.1安装jdk1.1.1找到对应的jdk版本1.1.2下载并安装1.1.2.1配置jdk环境变量1.2安装zookeeper1.2.1查找kafka对应zookeeper版本启动2.下载kafka安装包kafka3.0.0之前（包括3.0.0版本）支持jdk8，3.0.0之后版本不再支持jdk8版本，按照官网安装kafka，出现了各种各样的问题。总结：kafka和zookeeper和jdk版本对应，kafka启动报错根据提示改正后需要删除某些临时文件内容。下面整理了kafka安装的完整步骤，适合所有kafka安装版本1.初始化安装环境1.1安装
目录一、前言安装包二、linux配置1、配置网络参数2、永久关闭防火墙3、添加IP地址配置映射表4、SSH免密登录设置5、配置时间同步三、准备工作四、jdk安装五、Zookeeper集群部署1、Zookeeper集群启动脚本编写 六、Hadoop高可用集群部署1、安装配置 2、修改配置文件（1）修改hadoop-env.sh文件（2）修改core-site.xml文件（3）修改hdfs-site.xml文件（4）修改mapred-site.xml文件（5）修改yarn-site.xml文件（6）修改slaves文件（7）分发节点3、启用Hadoop高可用集群七、Spark高可用集群部署1、安装
kafka-producer源码分析kafka-1.0.1源码下载地址一.kafka发送示例/***CreatedbyXiChuanon2021/6/7.*/publicclassProducerTest{publicstaticvoidmain(String[]args)throwsException{KafkaProducerString,String>producer=createProducer();JSONObjectorder=createRecord();ProducerRecordString,String>record=newProducerRecordString,Stri
查看主题./kafka-topics.sh--list--bootstrap-server10.1.1.2:9092创建主题./kafka-topics.sh--bootstrap-server10.1.1.2:9092--create--topicmytopic--partitions1 查看消费者列表--list./kafka-consumer-groups.sh--bootstrap-server10.1.1.2:9092--list查看消费者组详情--describe查看指定消费组详情--group./kafka-consumer-groups.sh--bootstrap-server
业务上需要同步oracle的数据到starrocks，先开始调研使用了flinkCDC，运行一段时间后发现Oracle内存不足，查阅相关issues以及相关资料，最终确认是flinkCDC2.3版本中debezium版本太低导致的，具体issues参考:https://github.com/ververica/flink-cdc-connectors/issues/815所以只能更换方案使用高版本debezium+kafkaconnect的方式来同步对应的数据到kafka中，后面使用flinksql消费对应的kafka消息，来达到实时同步的目的。本地测试调研使用mysqlsource作为测试案
我正在尝试在多个spout之间分担任务。我有一种情况，我一次从外部源获取一个元组/消息，并且我想要一个spout的多个实例，其背后的主要目的是分担负载并提高性能效率。我可以对一个Spout本身执行相同的操作，但我想在多个Spout之间分担负载。我无法获得分散负载的逻辑。由于在特定的spout完成消费该部分之前(即基于缓冲区大小集)，消息的偏移量是未知的。任何人都可以对如何解决逻辑/算法提出一些亮点吗？预先感谢您的宝贵时间。更新响应答案:现在在Kafka上使用多分区(即5)以下是使用的代码:builder.setSpout("spout",newKafkaSpout(cfg),5);通过
