草庐IT

指标中台

全部标签

机器学习系列(二)——评价指标Precision和Recall

Precision和Recall是常考的知识点,就其区别做一个详细总结1.Precision 中文翻译“精确率”,“查准率”。“查准率”这个名字更能反应其特性,就是该指标关注准确性。 计算公式如下:这里TP,FP的概念来自统计学中的混淆矩阵,TP指“预测为正(Positive),预测正确(True)”(可以这里记忆:第一位表示该预测是否正确,第二位表示该预测结果为正还是负)   ,于是,我们可以这样理解Precision: 所有预测为正例的案例中,预测准确的比例     Precision适用什么样的场景呢?适用于 需要尽可能地把所需的类别检测准确,而不在乎这些类别是否都被检测出来,即宁可放过

数据中台的大数据处理:数据采集、存储和清洗最佳实践

作者:禅与计算机程序设计艺术随着互联网网站、移动应用等快速发展,网站流量呈爆炸性增长趋势,对于业务数据的采集和存储的需求也越来越强烈。在海量的数据面前,如何有效地进行数据采集、存储、清洗是目前研究人员和工程师的共同关注点。而数据中台(DataWarehouseasaService)是一种云计算服务模型,通过将数据采集、存储、清洗等环节部署在云端,实现数据的自动化管理和快速响应,从而达到降低运营成本、提高工作效率、提升数据价值等目的。数据中台的技术方案涉及大数据平台设计、数据采集、存储、清洗等多个环节,是企业构建数据驱动型产品的必备基础设施。一般来说,数据中台的目标是在数据采集、存储、清洗等环节

人脸比对指标 -- 人脸相似度

目前市面上既有OpenCV等开源算法库,很多芯片厂商的产品也自带简单算法,同时专业算法大厂也会开放相关技术,如提供免费、离线人脸识别SDK的虹软视觉开放平台等。对于开发者而言,面对多种算法,如何进判断算法性能至关重要,接下来将从算法原理、应用场景、关键指标一一进行介绍。【人脸识别算法原理简述】在介绍关键性能指标之前,我们需要厘清人脸识别的技术原理。所谓人脸识别(FaceRecognition),是对图像中的人脸进行检测、识别和跟踪。当前的人脸识别,通常是利用卷积神经网络(CNN)对海量的人脸图片进行学习,然后对输入图像提取出对应的人脸特征值。人脸特征值是面部特征所组成的信息集。人类记忆和辨别一

python通过rouge-chinese库实现中文Rouge评价指标(超简单)

Rouge-Chinese库(Python)专用于计算中文rouge指标的python库(paper)完整代码请见github仓库:https://github.com/Isaac-JL-Chen/rouge_chinese,欢迎star!与英文rouge库的不同点rouge-chinese库基于rouge库,针对中文NLP任务做出了改进。使用原始的rouge库计算中文的rougescore会遇到一些问题,例如,会产生栈溢出以及占据过大内存的问题(长文章甚至会占据数十GB),不支持对中文文章的分句,以及使用unionrougescore近似rougescore,导致结果不准确。新的rouge-

【AI大数据】数据中台的数据分析与挖掘:从数据到业务的决策

文章目录1.前言2.基本概念术语说明2.1数据模型及其实体关系实体(Entity)属性(Attribute)实体关系(EntityRelationships)2.2数据仓库2.3分析引擎2.4噪声数据2.5数据湖2.6数据总线2.7数据仓库模型3.核心算法原理和具体操作步骤以及数学公式讲解3.1数据挖掘技术概览(1)数据预处理(2)数据探查(3)数据清洗(4)数据转换(5

量化指标是与非:挽救被量化指标扼杀的技术团队

作者| 刘新翠整理| 徐杰承本文整理自快狗打车技术总监刘新翠在WOT2023大会上的主题分享,更多精彩内容及现场PPT,请关注51CTO技术栈公众号,发消息【WOT2023PPT】即可直接领取。本次分享主要围绕研发管理中的量化指标展开,介绍如何应用恰当的管理方式调整、释放团队成员的个性及团队活力。分享如何通过更先进的管理方式,改造团队,使团队能够为组织提供更多价值。1、研发管理的新变革技术是服务于业务的,商业环境变化会导致业务产生新的变化,在商业环境供小于求时,只需要控制产量,整个商业环境是可控的,研发管理的方向也是以规划组织、执行为主。当商业环境到了可预测阶段,则需要通过现有数据预测未来商业

用一个Gaussdb的例子探讨一下指标波动的关联性

数据库系统是一个十分神奇的系统,我们以前习惯于监控某个指标是否出现了异常。不过单一指标的波动与异常往往很难定位故障或者问题。不同的应用系统中,指标之间的关联度会有很大的差异。如果在类似业务场景,类似的负载情况下,数据库的指标波动与相互影响还是具有一定的相似性的。这也是智能化运维的算法具有一定的普适性应用范围的理论基础。我们探究指标后面的复杂关系是为了分析问题时能够尽快抓住要点,从而避开错误的路径分叉,直击问题的根源于本质。因此我们对数据库的指标体系理解的越为深刻,分析问题的能力也就越强。在二十多年的Oracle数据库运维工作中,我就是通过不断的理解指标与指标后面的复杂关联关系,再结合Oracl

业务中台如何实现业务的结果通知

0x01如下RPC通信场景:业务线向交易中台发起交易。当交易完成后,zhongtai-trans要将交易结果通知给业务线。那么,在程序实现上,zhongtai-trans如何通知业务线呢?  0x02 这个问题暂且不表。我们先来看跨企业通信的业务回调通知。这里,我们以商户对接微信支付来举例。用户在扫描商户网页上的微信支付二维码进行支付。用户支付完成后,腾讯会以HTTP的形式主动回调商户API,将支付结果通知给商户系统。微信官网明确了支付通知的参数。商户系统收到通知请求后,根据请求参数进行自己的逻辑处理。也就是说,腾讯作为通知请求方,定义了统一的通知参数,一视同仁,不管你是商户A的系统,还是商户

数据中台技术发展趋势:智能化与数字化转型

作者:禅与计算机程序设计艺术《3."数据中台技术发展趋势:智能化与数字化转型"》1.引言1.1.背景介绍随着数字化时代的到来,企业数据规模不断增大,数据类型愈发丰富,数据质量参差不齐。传统的数据治理和数据管理方式难以满足企业快速、高效、安全地管理数据的需求。为此,近年来出现了许多新的数据中台技术,旨在通过智能化和数字化转型,提高企业数据治理能力,实现高效数据管理。1.2.文章目的本文旨在探讨数据中台技术的最新发展,分析其实现过程、优化方向,并探讨未来发展趋势和挑战。本文将重点关注智能化与数字化转型,兼顾数据质量提升和数据流通与共享。1.3.目标受众本文适合具有一定技术基础和业务经验的读者,尤其

MATLAB算法实战应用案例精讲-【智能优化算法】多目标算法性能评价指标

前言在评估多目标优化算法的效果时,我们通常使用五个主要指标:GD(GenerationalDistance)、IGD(InvertedGenerationalDistance)、Hypervolume、Spacing和Spread。GD和IGD是用于测量算法生成的解集合与真实前沿解之间的距离的指标。具体而言,GD测量了所有生成解与真实前沿解之间的平均欧几里得距离,而IGD测量了所有真实前沿解与生成解之间的平均欧几里得距离。这两个指标的目标是越小越好,即算法的生成解集合应该尽可能接近真实前沿解。Hypervolume则是用于测量算法生成的解集合能够覆盖的真实前沿解的体积大小的指标。目标是越大越好