一、认识指标与指标体系相关的概念有很多，包括指标、度量、KPI、维度等。界定清楚这些概念，对于构建和运用指标体系至关重要。1.KPI、指标、度量和测度与指标相关或相近的词有度量、计量、测度等，相关的英文有indicator、metric、measure、KPI（keyperformanceindicator）和keymetrics。在英文中，measure、metric和indicator也经常不加区分地使用。中国人民银行2017年发布的行业标准JR/T0137—2017《银行经营管理指标数据元》中，metric对应中文的“度量”，indicator对应中文的“指标”。在经济中，econome
我们知道Prometheus采用的pull模式，但是某些网络场景下面（比如不在一个子网或者防火墙），Prometheus无法直接拉取监控指标数据，这个时候我们可能就需要一种能够主动push的模式了。而 Pushgateway 就是Prometheus生态中来解决这个问题的一个工具。但是Pushgateway也不是万能的，其本身也存在一些弊端：将多个节点数据汇总到pushgateway,如果pushgateway挂了，受影响范围更大Prometheus拉取状态up只针对pushgateway,无法做到对每个目标有效由于Pushgateway可以持久化推送给它的所有监控数据，所以即使你的监控已经下
我们知道Prometheus采用的pull模式，但是某些网络场景下面（比如不在一个子网或者防火墙），Prometheus无法直接拉取监控指标数据，这个时候我们可能就需要一种能够主动push的模式了。而 Pushgateway 就是Prometheus生态中来解决这个问题的一个工具。但是Pushgateway也不是万能的，其本身也存在一些弊端：将多个节点数据汇总到pushgateway,如果pushgateway挂了，受影响范围更大Prometheus拉取状态up只针对pushgateway,无法做到对每个目标有效由于Pushgateway可以持久化推送给它的所有监控数据，所以即使你的监控已经下
vmagent可以帮助我们从各种来源收集指标并将它们存储在VM或者任何其他支持remotewrite协议的Prometheus兼容的存储系统中。特性vmagent相比于Prometheus抓取指标来说具有更多的灵活性，比如除了拉取(pull)指标还可以推送(push)指标，此外还有很多其他特性：可以替换prometheus的scrapingtarget。支持从Kafka读写数据。支持基于prometheusrelabeling的模式添加、移除、修改labels，可以在数据发送到远端存储之前进行数据的过滤。支持多种数据协议，influxline协议，graphite文本协议，opentsdb协议
vmagent可以帮助我们从各种来源收集指标并将它们存储在VM或者任何其他支持remotewrite协议的Prometheus兼容的存储系统中。特性vmagent相比于Prometheus抓取指标来说具有更多的灵活性，比如除了拉取(pull)指标还可以推送(push)指标，此外还有很多其他特性：可以替换prometheus的scrapingtarget。支持从Kafka读写数据。支持基于prometheusrelabeling的模式添加、移除、修改labels，可以在数据发送到远端存储之前进行数据的过滤。支持多种数据协议，influxline协议，graphite文本协议，opentsdb协议
为了调试方便，这里我们将VictorialMetrics代码使用Goland打开。每个组件的入口位于app//main.go，比如vmstorage组件的入口位于app/vmstorage/main.go：为了对VM整个流畅分析，我们可以直接在IDE中来启动这些组件。直接在vmstorage入口的main函数上点击Run'gobuildmain.go'即可启动该组件：通过日志记录可以看出vmstorage会在8401端口监听vmselect的连接请求，在8400端口监听vminsert的连接请求，其本身的服务会通过8482端口进行暴露。启动后会在根目录下面创建一个名为vmstorage-dat
为了调试方便，这里我们将VictorialMetrics代码使用Goland打开。每个组件的入口位于app//main.go，比如vmstorage组件的入口位于app/vmstorage/main.go：为了对VM整个流畅分析，我们可以直接在IDE中来启动这些组件。直接在vmstorage入口的main函数上点击Run'gobuildmain.go'即可启动该组件：通过日志记录可以看出vmstorage会在8401端口监听vmselect的连接请求，在8400端口监听vminsert的连接请求，其本身的服务会通过8482端口进行暴露。启动后会在根目录下面创建一个名为vmstorage-dat
本文讨论使用日志作为数据源生成Prometheus指标。如果现有exporters提供的指标无法满足需求，或者exporter因授权原因无法对外公开，则可以参考本文提供的方式。写本文的原因是，我们的一位客户希望能够及时获取有关从应用程序到PostgreSQLv14数据库的失败查询的信息。同时，我们必须在不对应用程序代码进行任何更改的情况下实现此监控。在查看现有的PostgreSQLexporter后，我们未能找到任何能够发送错误报告的合适指标，因此我们决定自己新建一个。1.准备日志以供进一步使用从技术角度来看，步骤大致为：解析日志文件、从数据中提取指标、将其输出到Prometheus以及设置
本文讨论使用日志作为数据源生成Prometheus指标。如果现有exporters提供的指标无法满足需求，或者exporter因授权原因无法对外公开，则可以参考本文提供的方式。写本文的原因是，我们的一位客户希望能够及时获取有关从应用程序到PostgreSQLv14数据库的失败查询的信息。同时，我们必须在不对应用程序代码进行任何更改的情况下实现此监控。在查看现有的PostgreSQLexporter后，我们未能找到任何能够发送错误报告的合适指标，因此我们决定自己新建一个。1.准备日志以供进一步使用从技术角度来看，步骤大致为：解析日志文件、从数据中提取指标、将其输出到Prometheus以及设置
简介阿里云数据中台是一个包含落地实施方法论、平台产品和技术服务的企业级解决方案。阿里云数据中台以Maxcompute等大数据计算平台为载体，以三个One为理论基础构成数据中台方法论，实现在一个平台里完成数据全生命周期的管理工作。本文总结了企业级数据中台项目的实践经验，希望能够为正在规划或者已在实施数据中台类项目的企业和个人提供经验。阿里云数据中台类项目的管理全貌和实施过程可以总结为以下大图：数据中台项目管理实践分享（一）项目启动数据中台项目是一个企业级的项目，在每个数据中台项目的建设之初，需要进行全盘且较为全面的规划，避免‘单烟囱’式的方式去建设中台。启动阶段是极为重要的，大部分的计划和规划都
