草庐IT

MySQL知识点

全部标签

CDC 数据入湖方案:MySQL > Kafka Connect + Schema Registry + Avro > Kafka > Hudi

本文介绍的整体方案选型是:使用KafkaConnect的DebeziumMySQLSourceConnector将MySQL的CDC数据(Avro格式)接入到Kafka之后,通过Flink读取并解析这些CDC数据,其中,数据是以Confluent的Avro格式存储的,也就是说,Avro格式的数据在写入到Kafka以及从Kafka读取时,都需要和ConfluentSchemaRegistry进行交互,从而获取Schema信息,消息经Flink读取后会写入到Hudi表,从而完成全部的数据接入工作。1.前置依赖本文不会展开介绍CDC数据进入Kafka之前的操作,此部分可以参考:《CDC数据入湖方案:

【MySQL】事务?隔离级别?锁?详解MySQL并发控制机制

目录1.先理清一下概念2.锁2.1.分类2.2.表锁2.3.行锁(MVCC)2.4.间隙锁2.5.行锁变表锁2.6.强制锁行1.先理清一下概念所谓并发控制指的是在对数据库进行并发操作时如何保证数据的一致性和正确性。在数据库中与并发控制相关的概念有如下几个:事务隔离界别锁这几个概念大家应该都知道,但是我猜很多人没有把它们串在一起搞明白他们之间的关系,导致这三个概念各是各的,造成记忆负担,最后对整个数据库并发控制的体系也云里雾里的。锁与事务的关系:在计算机科学中,做并发控制都是用的“标志位”来实现的,说直白一点就是锁,我们基本上可以说计算机科学中并发控制的底层都是锁的思想。在数据库中也不例外,也是

MySql5.7.23免安装版下载和配置(win10)

1、mysql5.7.23官网下载地址https://downloads.mysql.com/archives/community/2、选择需要的版本号下载根据你电脑的版本选择下载对应的ZIP文件,我的电脑是64位的,因此选择这项进行下载,点击Download会自动下载;3、解压到相应文件夹下下载完毕后将文件解压到你想保存到的盘和目录内,我是将文件解压到D:\javaDe\目录下面。4、配置环境变量系统—>高级系统设置—>高级—>环境变量—>系统变量5、找到系统变量,选择path,点击新建6、新建变量名和值变量名为:MYSQL_HOME,添加你的mysql-5.7.27-winx64文件夹所在

【黄啊码】mysql启动报错:The server quit without updating PID file[网上的都是坑货]

大家好,我是黄啊码,最近在手动安装mysql的时候遇到了一点问题,然后按照网友们的操作,没一次成功,最终在一位大佬的指导下,终于解决了,特地整理如下:原因分析:上一次关机前未正常关闭MySQL解决方案:删除进程锁文件 /var/lock/subsys/mysql servicemysqldstartStartingMySQL...[ERROR]TheserverquitwithoutupdatingPIDfile(/usr/local/mysql/data/mysqld.pid).servicemysqldstatusMySQLisnotrunning,butlockfile(/var/loc

搞定mysql的 行转列(7种方法) 和 列转行

一、行转列1、使用case…when…then 2、使用SUM(IF())生成列3、使用SUM(IF())生成列+WITHROLLUP生成汇总行4、使用SUM(IF())生成列,直接生成汇总结果,不再利用子查询5、使用SUM(IF())生成列+UNION生成汇总行,并利用IFNULL将汇总行标题显示为Total6、动态查询列值不确定的情况7、合并字段显示:group_concat()二、列转行————————————————一、行转列即将原本同一列下多行的不同内容作为多个字段,输出对应内容。建表语句DROPTABLEIFEXISTStb_score;CREATETABLEtb_score(id

Kafka运维相关知识

目录一、基本概念二、技术特性三、设计思想四、运维建议一、基本概念  Apachekafka是一个分布式的基于push-subscribe的消息系统,它具备快速、可扩展、可持久化的特点。它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎。Producer:Producer即生产者,消息的产生者,是消息的入口。kafkacluster:Broker:Broker是kafka实例,每个服务器上有一个或多个kafka的实例,我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一

仅在MySQL查询上搜索数字

有这个问题:我需要比较MySQL表上是否存在一个数字,但是某些输入上的这个数字用“-”和“”格式化。但是我只想检查数字是否相等。到目前为止,我来了:SELECTvalueFROMtableWHERE(valueREGEXP'^[0-9]+$')LIKE'000';000是我想看看是否存在的数字,但是没有字母chacarter...它可能大约是0-00或0.00,但我需要忽略字母数字的Caractarter...但是此查询却没有任何返回...我设法显示了这样的记录:SELECTvalueFROMtableWHEREvalueREGEXP'^[0-9]+$';这仅显示数字...但是我需要比较。非常

Mysql 1366 Incorrect string value:不正确的字符串值(编码格式)

文章目录1解决办法1.1修改当前表的字符编码:仅对当前表有效1.2修改数据库的字符编码:对所有表有效1.3建议:创建数据库时指定字符编码2原因分析3错误演示4扩展4.1查看Mysql版本4.2查看数据库的字符编码4.3查看表的字符编码1解决办法1.1修改当前表的字符编码:仅对当前表有效altertable表名converttocharactersetutf8mb4collateutf8mb4_unicode_ci;--查看是否修改过来showcreatetable表名;1.2修改数据库的字符编码:对所有表有效--修改数据库的字符编码(注意:set命令重启数据库后失效!)setcharacter

从0开始入门智能知识库和星火大模型,打造AI客服。

介绍FastWikiFastWiki是一个高性能、基于最新技术栈的知识库系统,旨在为大规模信息检索和智能搜索提供解决方案。它采用微软SemanticKernel进行深度学习和自然语言处理,在后端使用MasaFramework,前端采用MasaBlazor框架,实现了一个高效、易用、可扩展的智能向量搜索平台。其目标是帮助用户快速准确地获取所需信息,具有智能搜索、高性能、现代化前端、强大的后端等特点。除此之外,FastWiki是开源和社区驱动的项目,采用Apache-2.0许可证,鼓励开发者和企业使用和贡献。部署FastWiki下面部署FastWiki将使用docker-compose进行部署,如

Linux系统使用宝塔面板安装MySQL服务并实现公网远程访问本地数据库【内网穿透】

文章目录前言1.Mysql服务安装2.创建数据库3.安装cpolar3.2创建HTTP隧道4.远程连接5.固定TCP地址5.1保留一个固定的公网TCP端口地址5.2配置固定公网TCP端口地址前言宝塔面板的简易操作性,使得运维难度降低,简化了Linux命令行进行繁琐的配置,下面简单几步,通过宝塔面板+cpolar即可快速搭建一个mysql数据库服务并且实现公网远程访问。1.Mysql服务安装我们打开宝塔面板,点击数据库,然后点击安装mysql服务,选择极速安装即可,版本默认然后等待安装完成2.创建数据库安装好后,修改一下root密码,这个root密码也是登陆mysql时候时输入的密码修改后,我们