草庐IT

Kafka系列

全部标签

通过 docker-compose 部署 Kafka

部署docker:linux下安装docker部署docker-compose:linux下安装dockercompose创建docker镜像网络环境:#创建,注意不能使用hadoop_network,要不然启动hs2服务的时候会有问题!!!dockernetworkcreatehadoop-network#查看dockernetworklsKafka编排部署下载Kafka(#需要java环境支持)wgethttps://downloads.apache.org/kafka/3.4.0/kafka_2.12-3.4.0.tgz--no-check-certificate配置config/kaf

多线程系列(十一) -浅析并发读写锁StampedLock

一、摘要在上一篇文章中,我们讲到了使用ReadWriteLock可以解决多线程同时读,但只有一个线程能写的问题。如果继续深入的分析ReadWriteLock,从锁的角度分析,会发现它有一个潜在的问题:如果有线程正在读数据,写线程准备修改数据的时候,需要等待读线程释放锁后才能获取写锁,简单的说就是,读的过程中不允许写,这其实是一种悲观的读锁。为了进一步的提升程序并发执行效率,Java8引入了一个新的读写锁:StampedLock。与ReadWriteLock相比,StampedLock最大的改进点在于:在原先读写锁的基础上,新增了一种叫乐观读的模式。该模式并不会加锁,因此不会阻塞线程,程序会有更

从零开始学Spring Boot系列-集成MySQL

在SpringBoot中集成MySQL是为了让开发者能够轻松地与MySQL数据库进行交互。本篇文章将指导你如何在SpringBoot3.2.3项目中使用Gradle来集成MySQL。在此之前,我们需要在Ubuntu22.04上安装MySQL8作为我们的数据库服务器。安装MySQL8本文是在wsl2上的Ubuntu22.04上安装MySQL8.步骤1:更新系统打开终端,并使用以下命令更新系统:aptupdateaptupgrade步骤2:安装MySQL使用以下命令安装MySQL服务器:aptinstallmysql-server步骤3:启动MySQL服务安装完成后,启动MySQL服务,WSL子系

【愚公系列】2024年02月 《网络安全应急管理与技术实践》 001-网络安全应急管理(概论)

🏆作者简介,愚公搬代码🏆《头衔》:华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云专家博主,阿里云签约作者,腾讯云优秀博主,腾讯云内容共创官,掘金优秀博主,51CTO博客专家等。🏆《近期荣誉》:2022年度博客之星TOP2,2023年度博客之星TOP2,2022年华为云十佳博主,2023年华为云十佳博主等。🏆《博客内容》:.NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人工智能、U3D游戏、小程序等相关领域知识。🏆🎉欢迎👍点赞✍评论⭐收藏文章目录🚀前言🚀一、

消息队列-kafka

kafka和redis的区别数据类型和用途:Kafka: Kafka是一个分布式消息队列系统,主要用于高吞吐量的消息发布和订阅。它可以用于构建实时流处理应用、日志收集和传输、事件驱动架构等场景。Redis: Redis是一个内存数据库,支持多种数据结构(如字符串、列表、哈希、集合、有序集合等),并提供持久化功能。它通常用于缓存、会话存储、实时数据处理、消息队列、发布/订阅等场景。持久化支持:Kafka: Kafka通过日志文件持久化消息,允许消息在磁盘上进行持久化存储,并且支持消息的批量读写操作,保证了消息的持久性和高吞吐量。Redis: Redis支持将数据持久化到磁盘,可以选择使用快照(s

CDC 数据入湖方案:MySQL > Flink CDC + Schema Registry + Avro > Kafka > Hudi

本文是《CDC数据入湖方案:MySQL>FlinkCDC>Kafka>Hudi》的增强版,在打通从源端数据库到Hudi表的完整链路的前提下,还额外做了如下两项工作:引入ConfluentSchemaRegistry,有效控制和管理上下游的Schema变更使用Avro格式替换Json,搭配SchemaRegistry,可以抽离Avro中的Schema数据,减少了Avro消息的体积,提升传输速率1.环境准备本文依旧使用Debezium官方提供的一个MySQLDocker镜像,构建操作可参考其官方文档,使用的是其内置的inventory数据库;本文需要搭建一个ConfluentSchemaRegis

深入学习Kafka之概念解析

文章目录0.Kafka是什么1.基本概念1.1生产者(Producer)1.2消费者(Consumer)1.3服务代理节点(Broker)1.4控制器(Controller)1.5主题Topic1.6分区(Partitions)1.7副本(replica)1.8ConsumerGroup(消费者组)1.9Offset(偏移量)1.10Rebalance1.11Coordinator1.12LEO(Logendoffset)1.13HW(HighWatermark)0.Kafka是什么Kafka是一个开源的分布式流处理平台和消息队列系统。Kafka是一个值得深入学习的开源中间件,其中涉及的概念有

Python&aconda系列:史上最全最详细的Anaconda安装教程(win7版本)

这里写目录标题一.史上最全最详细的Anaconda安装教程1.Anaconda简介2.Anaconda安装情况的选择Anaconda的安装分两种情况:2.1情况一2.1.1Anaconda的下载2.1.2测试安装2.1.3更改源2.1.4更新包2.1.5创建和管理虚拟环境2.2情况二2.2.1方法一:通过更改python.exe文件名2.2.2方法二:通过切换虚拟环境3.结束语4.问题1.请问2.1.3中的包名是默认下载位置还是安装位置2.博主,我点进下载好的安装包,显示另一程序正在进行,安装不了,这种情况怎么办,谢谢大神!!3.请问输入什么命令可以激活并切换到原生的python版本4.更新c

Python&aconda系列:启动Anaconda,一直卡在loading applications或弹出There is an instance of anaconda navigator alr

启动Anaconda,一直卡在loadingapplications或弹出Thereisaninstanceofanacondanavigatoralreadyrunningerror一.anacondanavigator启动时一直卡在loadingapplications页面anacondanavigator启动时一直卡在loadingapplications页面方法1提示:方法2方法3方法4方法5二.启动Anaconda时,弹出Thereisaninstanceofanacondanavigatoralreadyrunningerror当打开Anaconda时,弹出框Thereisanin

FreeRTOS_Stm32F407系列单片机标准库移植

这里写目录标题1、下载FreeRTOS源码1.1github仓库下载1.2官网下载1.3百度网盘下载2、FreeRTOS移植2.1首先需要有一个可运行的标准库工程2.2在工程内创建一个FreeRTOS文件夹,然后在FreeRTOS文件夹中再新建port、include、src三个文件夹。2.3port文件夹移植2.4include文件夹移植2.5src文件夹移植2.6移植FreeRTOSConfig.h配置文件2.7在keil中添加文件路径2.8打开组文件夹管理,新建FreeRTOS组2.9添加freeRTOS源文件2.10编译排错1、先编译链接下工程2.根据下面图操作打开FreeRTOSCo