草庐IT

Doris记录服务接口调用情况

背景公司的一个项目,需要记录某个接口的访问pv、uv,并且不能丢失明细数据,需要记录【用户,调用接口,调用详情,调用时间,调用次数】之前使用MySQL记录,每来一条记录一条,例如:insertintolog(id,user_id,resource_id,stat_date,view_count)values(default,user_id,view_id,'2022-06-11',1)存在的问题是没过多久MySQL中数据量级就到达千万,没法在毫秒的时间内返回结果使用MySQL中的明细数据进行聚合分析也非常的慢Doris聚合模型首先简单介绍下Doris,它是一个MPP数据库,一般是数据仓库进行多

Doris记录服务接口调用情况

背景公司的一个项目,需要记录某个接口的访问pv、uv,并且不能丢失明细数据,需要记录【用户,调用接口,调用详情,调用时间,调用次数】之前使用MySQL记录,每来一条记录一条,例如:insertintolog(id,user_id,resource_id,stat_date,view_count)values(default,user_id,view_id,'2022-06-11',1)存在的问题是没过多久MySQL中数据量级就到达千万,没法在毫秒的时间内返回结果使用MySQL中的明细数据进行聚合分析也非常的慢Doris聚合模型首先简单介绍下Doris,它是一个MPP数据库,一般是数据仓库进行多

从源码彻底理解 Prometheus/VictoriaMetrics 中的 Relabel/Metric_Configs 配置

背景最近接手维护了公司的指标监控系统,之后踩到坑就没站起来过。。本次问题的起因是我们配置了一些指标的删除策略没有生效:-action:drop_metricsregex:"^envoy_.*|^url\_\_\_\_.*|istio_request_bytes_sum"与这两个容易引起误解的配置relabel_configs/metric_relabel_configs有关。他们都是对抓取的数据进行重命名、过滤、新增、删除等操作,但应用场景却完全不同。我们使用了VictoriaMetrics替换了Prometheus,VM完全兼容Prometheus,所以本文也对Prometheus同样适用。

从源码彻底理解 Prometheus/VictoriaMetrics 中的 Relabel/Metric_Configs 配置

背景最近接手维护了公司的指标监控系统,之后踩到坑就没站起来过。。本次问题的起因是我们配置了一些指标的删除策略没有生效:-action:drop_metricsregex:"^envoy_.*|^url\_\_\_\_.*|istio_request_bytes_sum"与这两个容易引起误解的配置relabel_configs/metric_relabel_configs有关。他们都是对抓取的数据进行重命名、过滤、新增、删除等操作,但应用场景却完全不同。我们使用了VictoriaMetrics替换了Prometheus,VM完全兼容Prometheus,所以本文也对Prometheus同样适用。

kube-state-metrics 在大规模集群下的优化

当我们使用Prometheus来监控Kubernetes集群的时候,kube-state-metrics(KSM) 基本属于一个必备组件,它通过WatchAPIServer来生成资源对象的状态指标,它并不会关注单个Kubernetes组件的健康状况,而是关注各种资源对象的健康状态,比如Deployment、Node、Pod、Ingress、Job、Service等等,每种资源对象中包含了需要指标,我们可以在官方文档https://github.com/kubernetes/kube-state-metrics/tree/main/docs处进行查看。要安装KSM也非常简单,代码仓库中就包含了对

kube-state-metrics 在大规模集群下的优化

当我们使用Prometheus来监控Kubernetes集群的时候,kube-state-metrics(KSM) 基本属于一个必备组件,它通过WatchAPIServer来生成资源对象的状态指标,它并不会关注单个Kubernetes组件的健康状况,而是关注各种资源对象的健康状态,比如Deployment、Node、Pod、Ingress、Job、Service等等,每种资源对象中包含了需要指标,我们可以在官方文档https://github.com/kubernetes/kube-state-metrics/tree/main/docs处进行查看。要安装KSM也非常简单,代码仓库中就包含了对