一、端到端精准一次先来讲讲状态一致性状态一致性概念：一致性其实就是结果的正确性。对于分布式系统而言，强调的是不同节点中相同数据的副本应该总是“一致的”。而对于Flink来说，多个节点并行处理不同的任务，我们要保证计算结果是正确的，就必须不漏掉任何一个数据，而且也不会重复处理同一个数据。流式计算本身就是一个一个来的，所以正常处理的过程中结果肯定是正确的；但在发生故障、需要恢复状态进行回滚时就需要更多的保障机制了。状态一致性分类：最多一次（AT-MOST-ONCE）当任务发生故障时，最简单的做法就是直接重启，别的什么都不干；既不恢复丢失的状态，也不重放丢失的数据。每个数据在正常情况下会被处理一次，
一、引言 前段时间因课业要求使用DockerDesktop部署Kafka集群并编写生产者消费者程序，折磨了我好几天，在查找大量资料后终于是把整个集群搭建完成了。现在我想要分享其中搭建的历程，希望能为大家解决问题。二、Docker集群构建安装环境:Windows102.1 启用或关闭windows功能中勾选适用于linux的子系统,重启机器 启用或关闭windows功能 2.2windowspowershell中检查wsl的更新：wsl--update 2.3Docker官网下载DockerDesktopInstal
Logstash介绍Logstash是一个开源的数据收集引擎，具有实时管道功能。它可以从各种数据源中动态地统一和标准化数据，并将其发送到你选择的目的地。Logstash的早期目标主要是用于收集日志，但现在的功能已经远远超出这个范围。任何事件类型都可以通过Logstash进行分析，通过输入、过滤器和输出插件进行转换。Logstash的工作原理是使用管道方式进行日志的搜集处理和输出。这个管道包括三个阶段：输入、处理和输出。输入插件从数据源那里消费数据，过滤器插件根据你的期望修改数据，输出插件将数据写入目的地。Logstash的输入支持各种选择，可以同时从众多常用来源捕捉事件，如日志、指标、Web应
部署zkhttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1.tar.gztar-xfapache-zookeeper-3.9.1.tar.gz-C/appscd/apps/&&ln-sapache-zookeeper-3.9.1zookeeper修改配置```bashgrep-vE'^$|^#'conf/zoo.cfgtickTime=2000initLimit=10syncLimit=5dataDir=/apps/zookeeper/dataclientPor
🎉🎉欢迎来到我的CSDN主页！🎉🎉🏅我是尘缘，一个在CSDN分享笔记的博主。📚📚👉点击这里，就可以查看我的主页啦！👇👇尘缘的个人主页🎁如果感觉还不错的话请给我点赞吧！🎁🎁💖期待你的加入，一起学习，一起进步！💖💖目录1安装JDK2安装ZOOKERPER3安装并运行KAFKA1安装JDK1、下载文件：https://www.oracle.com/java/technologies/downloads/#jdk17-windows下载对应windows使用的jdk。2、安装JDK并设置环境变量，JAVA_HOME和path3、打开cmd，输入java-version，验证java是否安装成功；2安装
Elk+Filebeat+Kafka实现日志收集(本机nginx)部署Zookeeper1.实验组件#准备3台服务器做Zookeeper集群20.0.0.1020.0.0.2020.0.0.302.安装前准备#关闭防火墙systemctlstopfirewalldsystemctldisablefirewalldsetenforce0#安装JDKyuminstall-yjava-1.8.0-openjdkjava-1.8.0-openjdk-develjava-version#将apache-zookeeper-3.5.7-bin.tar.gz压缩包上传至/opt目录3.安装Zookeeper
文章目录前言docker-compose快速搭建kafka集群（较详细）docker-compose快速搭建Zookeeper集群+kafka集群参考资料前言当前是在学习kafka3.0的教程，基于需求就进行搭建了kafka集群，kafka在2.8.0之前是需要zookeeper的，之后可以不需要依赖了，目前的部署方案是基于zookeeper集群的情况下进行的，若是你还没有搭建zookeeper集群，可见：docker-compose快速搭建Zookeeper集群。我自己搭建录制了个视频见：docker-compose快速搭建zookeeper集群以及kafka集群所有博客文件目录索引：博客目
上一篇介绍了zookeeper的作用以及原理，这一篇我们介绍消息中间件kafka以及为什么要用kafka，什么业务场景下需要kafka，还有不同业务场景应该用哪一种消息中间件。最后还有kafka集群的搭建。注，kafka从2.8版本开始已经在逐步取消依赖zookeeper了，本文依赖zookeeper以及不依赖zookeeper改用Kraft模式都会介绍。kafka是什么在说kafka是什么之前，我们应该先知道，消息中间件是什么。举个例子，大家网上买东西，现在很多时候都会放到驿站或者快递柜，而不是快递员直接送到你手上，然后你什么时候去取快递，那就是你的事了，那在这个过程中，中间的这个驿站或者快
kafka报错报错信息一：启动Kafka出现TheClusterIDdoesn’tmatchstoredclusterId错误需要删除在kafka路径下面的logs里面的meta.properties，这是因为cluster.id不匹配报错信息二：ERRORorg.apache.kafka.common.errors.InvalidReplicationFactorException:Replicationfactor:2largerthanavailablebrokers:1.(kafka.admin.TopicCommand$)出现这个错误可以去查看kafka下面的advertised后面
目录一、Kafka事务性消息1.1介绍Kafka事务性消息1.2事务性消息的应用场景1.3Kafka事务性消息的优势二、Kafka事务性消息的使用2.1配置Kafka以支持事务性消息生产者配置消费者配置2.2生产者：发送事务性消息创建Kafka生产者开始事务发送消息提交或中止事务2.3消费者：处理事务性消息创建Kafka消费者订阅主题处理消息提交位移三、事务性消息的最佳实践3.1保障消息的一次交付3.1.1生产者幂等性3.1.2消费者去重3.2事务性消息的监控和故障排查3.2.1监控工具3.2.2故障排查3.3事务性消息的性能考量3.3.1性能调整3.3.2吞吐量优化四、示例：生产和消费Kaf
