草庐IT

pg_restore

全部标签

PG数据库服务器的CPU使用率突然升高该如何分析

​现在基于PG或者脱胎于PG的国产数据库越来越多,再加上PG社区版用户也在快速增长,因此多学点PG的知识对于DBA今后的转型来说,还是挺有用的,因此这几天我们多讨论一些PG相关的问题。昨天我们讨论了PGIO优化方面的问题,今天我们就来讨论一个核CPU有关的问题。今天的议题是,如果PG数据库服务器的CPU使用率突然升高,我们应该从哪几个方面去分析。如果遇到数据库服务器CPU使用率突然大幅增高或者过高的问题,不论是哪种数据库,我们都要首先查看一下操作系统上有没有非数据库的进程使用了过高的CPU资源,这个使用TOP工具就可以实现了,不要因为SWAP、大规模CACHEDROP等操作引发的CPU使用率突

PG数据库服务器的CPU使用率突然升高该如何分析

​现在基于PG或者脱胎于PG的国产数据库越来越多,再加上PG社区版用户也在快速增长,因此多学点PG的知识对于DBA今后的转型来说,还是挺有用的,因此这几天我们多讨论一些PG相关的问题。昨天我们讨论了PGIO优化方面的问题,今天我们就来讨论一个核CPU有关的问题。今天的议题是,如果PG数据库服务器的CPU使用率突然升高,我们应该从哪几个方面去分析。如果遇到数据库服务器CPU使用率突然大幅增高或者过高的问题,不论是哪种数据库,我们都要首先查看一下操作系统上有没有非数据库的进程使用了过高的CPU资源,这个使用TOP工具就可以实现了,不要因为SWAP、大规模CACHEDROP等操作引发的CPU使用率突

PG数据库运维中的操作系统关注点

​现在PG数据库在用户侧的应用场景日益丰富,很多国产数据库也与PG开源项目有着很深的渊源,在使用过程中的一些基本运维规则也与PG开源数据库十分近似。今天我们从操作系统的角度来看一看PG数据库日常运维中需要关注的一些问题。目前大多数用户侧的PG数据库规模都比较小,应用系统也都不太复杂,因此大多数情况下,数据库日常运维的难度并不大,不像Oracle这样复杂的数据库系统,遇到些问题还不太容易处理。在PG数据库日常运维上,只要关注下总会话数,活跃会化,并发访问,TOPSQL,一般也就够用了。反而在操作系统层面,需要多加关注。在这种情况下,操作系统的各种资源是否充足是决定数据库运行是否稳定的十分重要的因

PG数据库运维中的操作系统关注点

​现在PG数据库在用户侧的应用场景日益丰富,很多国产数据库也与PG开源项目有着很深的渊源,在使用过程中的一些基本运维规则也与PG开源数据库十分近似。今天我们从操作系统的角度来看一看PG数据库日常运维中需要关注的一些问题。目前大多数用户侧的PG数据库规模都比较小,应用系统也都不太复杂,因此大多数情况下,数据库日常运维的难度并不大,不像Oracle这样复杂的数据库系统,遇到些问题还不太容易处理。在PG数据库日常运维上,只要关注下总会话数,活跃会化,并发访问,TOPSQL,一般也就够用了。反而在操作系统层面,需要多加关注。在这种情况下,操作系统的各种资源是否充足是决定数据库运行是否稳定的十分重要的因

弄明白DOUBLE BUFFERING对PG数据库的运维与优化有什么意义

​昨天的案例讲了因为PG的DOUBLEBUFFERING导致的SQL执行忽快忽慢的问题,有些朋友在问是不是Oracle之外的很多数据库都是用类似的方式读取文件,这种DoubleBuffering技术是不是很落后,是不是必须加以改进。实际上,只要是使用文件系统,并且在读数据时没有采用DIO的数据库都会存在DOUBLEBUFFERING的问题,早期的Oracle也存在类似问题。上图比较清晰的说明了DOUBLEBUFFERING问题,对于写的情况,因为先写入CACHE,再由OS把CACHE写入磁盘,中间会有一些性能损失,不过对于现代的数据库来说,只有REDO/WAL是需要强一致性写入的,数据文件的写

弄明白DOUBLE BUFFERING对PG数据库的运维与优化有什么意义

​昨天的案例讲了因为PG的DOUBLEBUFFERING导致的SQL执行忽快忽慢的问题,有些朋友在问是不是Oracle之外的很多数据库都是用类似的方式读取文件,这种DoubleBuffering技术是不是很落后,是不是必须加以改进。实际上,只要是使用文件系统,并且在读数据时没有采用DIO的数据库都会存在DOUBLEBUFFERING的问题,早期的Oracle也存在类似问题。上图比较清晰的说明了DOUBLEBUFFERING问题,对于写的情况,因为先写入CACHE,再由OS把CACHE写入磁盘,中间会有一些性能损失,不过对于现代的数据库来说,只有REDO/WAL是需要强一致性写入的,数据文件的写

PG数据库运维工具要覆盖哪些能力

​过节前我和PG中国社区合作搞了一个关于如何使用D-SMART来运维PG数据库的线上直播,正好我的一个金融行业的客户听了我的介绍,打电话过来聊了聊。他们正在做数据库信创的选型,也试用了多个国产数据库,最后他们准备选择TDSQL。当时我觉得有点意外,他们从2020年就开始在做国产数据库选型,不过好像最初使用TDSQL后的感受并不太好。后来经过沟通才了解到,他们刚开始使用TDSQL的分布式数据库,发现对研发要求太高,所以后来就全部选择TDSQL的集中式MYSQL实例,用下来发现挺好用的。整个数据库云的节点数也从最初的十几个扩展到了大几十个。无独有偶,昨天和另外一个金融客户在微信上聊了聊数据库信创选

PG数据库运维工具要覆盖哪些能力

​过节前我和PG中国社区合作搞了一个关于如何使用D-SMART来运维PG数据库的线上直播,正好我的一个金融行业的客户听了我的介绍,打电话过来聊了聊。他们正在做数据库信创的选型,也试用了多个国产数据库,最后他们准备选择TDSQL。当时我觉得有点意外,他们从2020年就开始在做国产数据库选型,不过好像最初使用TDSQL后的感受并不太好。后来经过沟通才了解到,他们刚开始使用TDSQL的分布式数据库,发现对研发要求太高,所以后来就全部选择TDSQL的集中式MYSQL实例,用下来发现挺好用的。整个数据库云的节点数也从最初的十几个扩展到了大几十个。无独有偶,昨天和另外一个金融客户在微信上聊了聊数据库信创选

关于 .net:dotnet restore: 排除项目

dotnetrestore:excludeproject我有一个projectsolution,我也有一个wix项目。实际上dotnet不支持wix。在我的构建管道上,我必须为下一个stage.运行dotnetrestore但是因为wix项目,我总是得到以下错误:D:\\GitlabRunnerService\\builds\\fc40b836\\0\\customers\\foo\\foo-zls\\src\\foo.zls.setup.common\\foo.zls.setup.common.wixproj(34,5):error:TheWiXToolsetv3.11(ornewer)bu

关于 .net:dotnet restore: 排除项目

dotnetrestore:excludeproject我有一个projectsolution,我也有一个wix项目。实际上dotnet不支持wix。在我的构建管道上,我必须为下一个stage.运行dotnetrestore但是因为wix项目,我总是得到以下错误:D:\\GitlabRunnerService\\builds\\fc40b836\\0\\customers\\foo\\foo-zls\\src\\foo.zls.setup.common\\foo.zls.setup.common.wixproj(34,5):error:TheWiXToolsetv3.11(ornewer)bu