背景在物联网、监控、传感器、金融等应用领域，数据在时间维度上流式的产生，而且数据量非常庞大。例如我们经常看到的性能监控视图，就是很多点在时间维度上描绘的曲线。又比如金融行业的走势数据等等。我们想象一下，如果每个传感器或指标每100毫秒产生1个点，一天就是864000个点。而传感器或指标是非常多的，例如有100万个传感器或指标，一天的量就接近一亿的量。假设我们要描绘一个时间段的图形，这么多的点，渲染估计都要很久。那么有没有好的压缩算法，即能保证失真度，又能很好的对数据进行压缩呢？旋转门压缩算法原理旋转门压缩算法（SDT）是一种直线趋势化压缩算法,其本质是通过一条由起点和终点确定的直线代替一系
背景在物联网、监控、传感器、金融等应用领域，数据在时间维度上流式的产生，而且数据量非常庞大。例如我们经常看到的性能监控视图，就是很多点在时间维度上描绘的曲线。又比如金融行业的走势数据等等。我们想象一下，如果每个传感器或指标每100毫秒产生1个点，一天就是864000个点。而传感器或指标是非常多的，例如有100万个传感器或指标，一天的量就接近一亿的量。假设我们要描绘一个时间段的图形，这么多的点，渲染估计都要很久。那么有没有好的压缩算法，即能保证失真度，又能很好的对数据进行压缩呢？旋转门压缩算法原理旋转门压缩算法（SDT）是一种直线趋势化压缩算法,其本质是通过一条由起点和终点确定的直线代替一系
PostgreSQL近些年热度越来越高，特别在国内，基于其生态的数据库产品种类繁多。如果有人问“信创数据库学啥比较好”，从今后的工作机会以及学习资料的普及程度来说，我首先推荐的就是PostgreSQL。不过目前大多数PostgreSQL用户都没有认真配置数据库，让其达到最佳的使用效果，并充分发挥出硬件的性能特征。其中数据库IO的优化是重中之重，IO延时较大会导致所有的SQL都会变慢。今天的这篇文章将介绍提高PostgreSQLIO性能的八个技巧。首先，使用相应速度更快，吞吐能力更强的存储硬件：提高IO性能的最重要因素之一是用于存储数据库文件的存储硬件。在关键系统中，一般会考虑使用固态硬盘(S
PostgreSQL近些年热度越来越高，特别在国内，基于其生态的数据库产品种类繁多。如果有人问“信创数据库学啥比较好”，从今后的工作机会以及学习资料的普及程度来说，我首先推荐的就是PostgreSQL。不过目前大多数PostgreSQL用户都没有认真配置数据库，让其达到最佳的使用效果，并充分发挥出硬件的性能特征。其中数据库IO的优化是重中之重，IO延时较大会导致所有的SQL都会变慢。今天的这篇文章将介绍提高PostgreSQLIO性能的八个技巧。首先，使用相应速度更快，吞吐能力更强的存储硬件：提高IO性能的最重要因素之一是用于存储数据库文件的存储硬件。在关键系统中，一般会考虑使用固态硬盘(S
本文讨论使用日志作为数据源生成Prometheus指标。如果现有exporters提供的指标无法满足需求，或者exporter因授权原因无法对外公开，则可以参考本文提供的方式。写本文的原因是，我们的一位客户希望能够及时获取有关从应用程序到PostgreSQLv14数据库的失败查询的信息。同时，我们必须在不对应用程序代码进行任何更改的情况下实现此监控。在查看现有的PostgreSQLexporter后，我们未能找到任何能够发送错误报告的合适指标，因此我们决定自己新建一个。1.准备日志以供进一步使用从技术角度来看，步骤大致为：解析日志文件、从数据中提取指标、将其输出到Prometheus以及设置
本文讨论使用日志作为数据源生成Prometheus指标。如果现有exporters提供的指标无法满足需求，或者exporter因授权原因无法对外公开，则可以参考本文提供的方式。写本文的原因是，我们的一位客户希望能够及时获取有关从应用程序到PostgreSQLv14数据库的失败查询的信息。同时，我们必须在不对应用程序代码进行任何更改的情况下实现此监控。在查看现有的PostgreSQLexporter后，我们未能找到任何能够发送错误报告的合适指标，因此我们决定自己新建一个。1.准备日志以供进一步使用从技术角度来看，步骤大致为：解析日志文件、从数据中提取指标、将其输出到Prometheus以及设置
前些年和搞PG的朋友交流的时候，他说PG数据库是比较简单的数据库，但是用好PG数据库并简单。和Oracle数据库比起来，Oracle数据库很复杂，想管好、优化好技术就要在管理Oracle的技术需要下大功夫，一旦掌握了，反而管理起来很简单，很顺手了。而PG数据库相对简单，想管好，优化好，在技术上并不复杂，掌握技术难度不大，但是你需要更为精细的去管理它，才能用好它。我觉得他说得挺有道理，PG可以支撑超大型数据库系统，不过你需要在运维与优化上精耕细作，才能用好。PG数据库提供了相当多的小功能，也有大量的第三方插件，实际上都是在生产环境中遇到了问题而给出的一些解决方案。最近我们就用上了一个数据表预热
前些年和搞PG的朋友交流的时候，他说PG数据库是比较简单的数据库，但是用好PG数据库并简单。和Oracle数据库比起来，Oracle数据库很复杂，想管好、优化好技术就要在管理Oracle的技术需要下大功夫，一旦掌握了，反而管理起来很简单，很顺手了。而PG数据库相对简单，想管好，优化好，在技术上并不复杂，掌握技术难度不大，但是你需要更为精细的去管理它，才能用好它。我觉得他说得挺有道理，PG可以支撑超大型数据库系统，不过你需要在运维与优化上精耕细作，才能用好。PG数据库提供了相当多的小功能，也有大量的第三方插件，实际上都是在生产环境中遇到了问题而给出的一些解决方案。最近我们就用上了一个数据表预热
PostgreSQL是一个功能强大的开源对象关系数据库管理系统(ORDBMS)，在开源数据库使用上与MySQL各领风骚。但也有不少人质疑postgresql的未来，正所谓，赞扬或批判一种数据库都必须先了解它，然后才可有话语权。为了更多的了解postgresql,我们就先部署一套实例作为了解它的基础。一、环境介绍操作系统：centosCPU:4核内存：16Gpostgresql:postgresql-11.4二、编译安装1、安装依赖包yuminstall-yperl-ExtUtils-Embedreadline-develzlib-develpam-devellibxml2-devellibxs
PostgreSQL是一个功能强大的开源对象关系数据库管理系统(ORDBMS)，在开源数据库使用上与MySQL各领风骚。但也有不少人质疑postgresql的未来，正所谓，赞扬或批判一种数据库都必须先了解它，然后才可有话语权。为了更多的了解postgresql,我们就先部署一套实例作为了解它的基础。一、环境介绍操作系统：centosCPU:4核内存：16Gpostgresql:postgresql-11.4二、编译安装1、安装依赖包yuminstall-yperl-ExtUtils-Embedreadline-develzlib-develpam-devellibxml2-devellibxs
