一、背景大数据元数据服务HiveMetastoreService（以下简称HMS），存储着数据仓库中所依赖的所有元数据并提供相应的查询服务，使得计算引擎（Hive、Spark、Presto）能在海量数据中准确访问到需要访问的具体数据，其在离线数仓的稳定构建上扮演着举足轻重的角色。vivo离线数仓的Hadoop集群基于CDH5.14.4版本构建，HMS的版本选择跟随CDH大版本，当前使用版本为1.1.0-cdh5.14.4。vivo在HMS底层存储架构未升级前使用的是MySQL存储引擎，但随着vivo业务发展，数据爆炸式增长，存储的元数据也相应的增长到亿级别（PARTITION_PARAMS：8
本文介绍TiDB数据库的容器化部署。起因前段时间，国产化替换提上了日程，有关部门（这个真的是某部门）作为领导身份介入，因此，需启动相应的事情，但最近似乎没有什么动静。因为身份问题，只好私下做一些力所能及的事。数据库方面，有同事已经对接上达梦，当前只是安装了达梦数据库，加了技术群，然后就没有然后了。因为一些原因，没有对此研究很深，恰好看到TiDB，高度兼容MySQL，在github上是开源的，而且是用golang写的，天然有好感，于是花点时间接触。既然是国产化，操作系统也要考虑国产的，当然还是Linux操作系统，硬件芯片则必须是arm64（aarch64）的。奇怪的是，在网上搜索资料，arm平台
TiDB数据库从入门到精通系列之六：使用TiCDC将TiDB的数据同步到ApacheKafka一、技术流程二、搭建环境三、创建Kafkachangefeed四、写入数据以产生变更日志五、配置Flink消费Kafka数据一、技术流程快速搭建TiCDC集群、Kafka集群和Flink集群创建changefeed，将TiDB增量数据输出至Kafka使用go-tpc写入数据到上游TiDB使用Kafkaconsoleconsumer观察数据被写入到指定的Topic（可选）配置Flink集群消费Kafka内数据二、搭建环境部署包含TiCDC的TiDB集群在实验或测试环境中，可以使用TiUPPlaygrou
FlinkCDC系列之：TiDBCDC导入Elasticsearch一、通过docker来启动TiDB集群二、下载Flink和所需要的依赖包三、在TiDB数据库中创建表和准备数据四、启动Flink集群，再启动SQLCLI五、在FlinkSQLCLI中使用FlinkDDL创建表六、Kibana查看ElasticSearch数据七、在TiDB增删改数据，观察ElasticSearch中的结果一、通过docker来启动TiDB集群gitclonehttps://github.com/pingcap/tidb-docker-compose.git替换目录tidb-docker-compose里面的do
目录1.说明2. 准备工作3.安装3.1参考Tidb官方v1.5安装说明 3.2准备存储类3.3创建crd3.4执行operator3.5创建cluster/dashboard/monitor容器组3.6设置访问入口(Ingress&Port)4.装好后的容器状况5.遇到的问题6.参考1.说明建立TiDB集群，实现一个基于k8s的云原生分布式数据库方案应用ingress,子域名访问并测试使用local-volume-provisionerGitHub-kubernetes-sigs/sig-storage-local-static-provisioner:Staticprovisionerof
最近因工作需要，部署了一套TiDB，然而通过IDEA，使用MySQL驱动连接数据库时，一直报字符集不匹配。网上找了些资料，但是并没有相关说明。最后请教了一个大佬，问题得到解决。这边记录一下，希望能帮助到遇到同样问题的人。问题现象IDEA连接TiDB时，成功连接，但无法获取schema信息，执行查询语句时，报字符集不匹配。报错信息如下：[42000][1253]COLLATION‘utf8_general_ci’isnotvalidforCHARACTERSET‘utf8mb4’.报错截图问题解决连接时，先配置好基本的连接信息，然后切换到Option选项卡，勾选introspectusingjd
1概述TiDB是PingCAP公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、实时HTAP、云原生的分布式数据库、兼容MySQL5.7协议和MySQL生态等重要特性。目标是为用户提供一站式OLTP(OnlineTransactionalProcessing)、OLAP(OnlineAnalyticalProcessing)、HTAP解决方案。TiDB适合高可用、强一致要求较高、数据规模较大等各种应用场
近日，企业级开源分布式数据库厂商PingCAP正式发布TiDB7.1版本，这也是2023年度发布的首个LTS（LongTermSupport）版本，汇集了来自20+个真实场景带来的功能增强，累计优化和修复140+功能，旨在提升关键业务的稳定性和性能，帮助开发人员和数据库管理员提高生产力并进一步降低总体拥有成本（TCO）。用户可在生产环境中使用TiDB7.1。TiDB半年版本回顾TiDB7.1LTS距离上一个LTS版本6.5已经过去了整半年，在这期间，PingCAP对产品的关键能力做了大量的增强和优化，其中最重要的特性有：● TiDB7.0提供了基于资源组的资源管控（ResourceContro
引言在当今互联网时代，数据的规模和复杂性不断增长，传统关系型数据库面临着无法满足高并发和大规模数据存储需求的挑战。为了解决这一问题，开源社区涌现出了一系列分布式数据库解决方案，其中TiDB作为一种新兴的分布式数据库引起了广泛的关注。本文将介绍TiDB的基本概念、特点以及适用的应用场景。TiDB官方文档地址：https://docs.pingcap.com/zh/tidb/stable什么是TiDB？TiDB是PingCAP公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,H
作者：杜振强原文来源：https://tidb.net/blog/cb1c5ea31、测试目的TIDB2.1region心跳和raft消息是单线程处理的，在region量比较大(几十上百万)的集群中，虽然写入量不大，但是大量的心跳导致raft的单线程cpu经常打满，进而导致业务响应时间明显增加，在3.0版本raft改成了多线程，性能有明显的提升，这里主要测试TIDB3.0.5版本的性能数据。2、测试工具使用sysbench1.1.0作为测试工具oltp数据模型：32张表；每张表40000000行数据。共使用的磁盘空间为：280G左右。默认收集7种负载情况下的统计数据：oltp_point_se
