背景2023年双11高峰之际，实时平台有一个消费Kafka写hudi的FlinkSQL类型的实时任务，每天Kafka流入的高峰时段有近350万/分钟的流入量，而任务的消费速率平均在230万/分钟左右，这导致任务写hudi遇到较严重性能瓶颈和消息积压，对业务造成影响。任务的具体积压情况如下图1所示。图1任务消费积压图（X轴是时间，单位分钟，Y轴是消息数量）针对上述情况，我们对任务进行了分析和优化，解决了此任务写hudi的性能问题，满足了高峰的要求。具体分析处理方法我们继续看。2问题排查和处理首先我们进入任务的FlinkWebUI页面，查看到任务在没有做checkpoint时的执行图，没有发现明显
11.7函数11.7.1系统函数标量函数只有数值大小，没有方向的量，行变行比较函数逻辑函数算数函数字符串函数时间函数聚合函数多行变一行count(),sum(),rank(),row_number()11.7.2自定义函数(UDF)分类标量函数，聚合函数：多对一表函数，表聚合函数：一对多，多对多调用流程注册函数tableEnv.createTemporarySystemFunction("MyFunction",MyFunction.class);createTemporarySystemFunction属于系统函数，全局的，如果不需要可以用它createTemporaryFunction使用
作者：源码时代-Raymon老师Kafka的高吞吐、低延时、高性能的实现原理Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万，这其中的原由值得我们一探究竟，让我们一起掌握Kafka各种精巧的设计。吞吐量：吞吐量是指在一定时间内通过系统、网络或设备传输的数据量或处理的事务数量。它是衡量系统性能和效率的重要指标之一。对于网络，吞吐量可以指网络连接的数据传输速率，单位可以是字节/秒或比特/秒对于服务器或数据库系统，吞吐量可以表示
一、端到端精准一次先来讲讲状态一致性状态一致性概念：一致性其实就是结果的正确性。对于分布式系统而言，强调的是不同节点中相同数据的副本应该总是“一致的”。而对于Flink来说，多个节点并行处理不同的任务，我们要保证计算结果是正确的，就必须不漏掉任何一个数据，而且也不会重复处理同一个数据。流式计算本身就是一个一个来的，所以正常处理的过程中结果肯定是正确的；但在发生故障、需要恢复状态进行回滚时就需要更多的保障机制了。状态一致性分类：最多一次（AT-MOST-ONCE）当任务发生故障时，最简单的做法就是直接重启，别的什么都不干；既不恢复丢失的状态，也不重放丢失的数据。每个数据在正常情况下会被处理一次，
一、引言 前段时间因课业要求使用DockerDesktop部署Kafka集群并编写生产者消费者程序，折磨了我好几天，在查找大量资料后终于是把整个集群搭建完成了。现在我想要分享其中搭建的历程，希望能为大家解决问题。二、Docker集群构建安装环境:Windows102.1 启用或关闭windows功能中勾选适用于linux的子系统,重启机器 启用或关闭windows功能 2.2windowspowershell中检查wsl的更新：wsl--update 2.3Docker官网下载DockerDesktopInstal
Logstash介绍Logstash是一个开源的数据收集引擎，具有实时管道功能。它可以从各种数据源中动态地统一和标准化数据，并将其发送到你选择的目的地。Logstash的早期目标主要是用于收集日志，但现在的功能已经远远超出这个范围。任何事件类型都可以通过Logstash进行分析，通过输入、过滤器和输出插件进行转换。Logstash的工作原理是使用管道方式进行日志的搜集处理和输出。这个管道包括三个阶段：输入、处理和输出。输入插件从数据源那里消费数据，过滤器插件根据你的期望修改数据，输出插件将数据写入目的地。Logstash的输入支持各种选择，可以同时从众多常用来源捕捉事件，如日志、指标、Web应
部署zkhttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1.tar.gztar-xfapache-zookeeper-3.9.1.tar.gz-C/appscd/apps/&&ln-sapache-zookeeper-3.9.1zookeeper修改配置```bashgrep-vE'^$|^#'conf/zoo.cfgtickTime=2000initLimit=10syncLimit=5dataDir=/apps/zookeeper/dataclientPor
🎉🎉欢迎来到我的CSDN主页！🎉🎉🏅我是尘缘，一个在CSDN分享笔记的博主。📚📚👉点击这里，就可以查看我的主页啦！👇👇尘缘的个人主页🎁如果感觉还不错的话请给我点赞吧！🎁🎁💖期待你的加入，一起学习，一起进步！💖💖目录1安装JDK2安装ZOOKERPER3安装并运行KAFKA1安装JDK1、下载文件：https://www.oracle.com/java/technologies/downloads/#jdk17-windows下载对应windows使用的jdk。2、安装JDK并设置环境变量，JAVA_HOME和path3、打开cmd，输入java-version，验证java是否安装成功；2安装
Elk+Filebeat+Kafka实现日志收集(本机nginx)部署Zookeeper1.实验组件#准备3台服务器做Zookeeper集群20.0.0.1020.0.0.2020.0.0.302.安装前准备#关闭防火墙systemctlstopfirewalldsystemctldisablefirewalldsetenforce0#安装JDKyuminstall-yjava-1.8.0-openjdkjava-1.8.0-openjdk-develjava-version#将apache-zookeeper-3.5.7-bin.tar.gz压缩包上传至/opt目录3.安装Zookeeper
文章目录前言docker-compose快速搭建kafka集群（较详细）docker-compose快速搭建Zookeeper集群+kafka集群参考资料前言当前是在学习kafka3.0的教程，基于需求就进行搭建了kafka集群，kafka在2.8.0之前是需要zookeeper的，之后可以不需要依赖了，目前的部署方案是基于zookeeper集群的情况下进行的，若是你还没有搭建zookeeper集群，可见：docker-compose快速搭建Zookeeper集群。我自己搭建录制了个视频见：docker-compose快速搭建zookeeper集群以及kafka集群所有博客文件目录索引：博客目
