草庐IT

复分析

全部标签

数据分析--数据预处理

本文主要是个人的学习笔记总结,数据预处理的基本思路和方法,包括一些方法的使用示例和参数解释,具体的数据预处理案例case详见其他文章。如有错误之处还请指正!目录数据的质量评定数据处理步骤缺失值的处理标记缺失值删除缺失值填充缺失值重复值处理异常值的处理数据集合并pandas.DataFrame.concat()方法合并:pandas.DataFrame.merge()方法合并:pandas.DataFrame.join()方法:数据映射map()方法完成分组聚合数据转换Z-Score标准化Min-Max标准化独热编码数据离散化数据规约主成成分分析(PrincipalComponentsAnaly

IDEA集成性能分析神器VisualVM

VisualVM是一款免费的,集成了多个JDK命令行工具的可视化工具,它能为您提供强大的分析能力,对Java应用程序做性能分析和调优。这些功能包括生成和分析海量数据、跟踪内存泄漏、监控垃圾回收器、执行内存和CPU分析,同时它还支持在MBeans上进行浏览和操作。性能分析神器:VisualVM1.IDEA中安装VisualVMLauncher插件在IDEA自带的插件市场,搜索VisualVMLauncher,然后安装即可:2.下载VisualVM软件(也可以使用安装JDK时自带的jvisualvm.exe)官网地址:http://visualvm.github.io/download.html根

【产品分析】高德手机地图产品:未来搜索将从地图开始

未来的搜索从地图开始。今后的所有商务活动都将通过地图展开,使之成为兵家必争之地。要将移动流量变现为真金白银,地图将发挥至关重要的作用。目前整个中国电子地图市场目前处于应用成熟期。在多年的快速发展和数次大型收购后,各互联网巨头已经基本完成了从地图数据到O2O的全产业链布局。比达咨询统计数据显示:2017年我国手机地图用户规模达到6.8亿人,同比增长6.2%。在线旅游、移动出行等行业为电子地图,尤其是移动端地图应用规模增长提供了动力。自2014年,国内电子地图行业逐渐呈现BAT三家分晋的局势。2017年下半年高德地图渗透率持续领先,DAU突破4千万,12月MAU达4千亿。本文将从以下四个方面对高德

计算机网络 实验2 IP协议分析

实验2IP协议分析1.实验目的了解IP报文格式,熟悉IP报文各个字段含义、长度掌握基于tcpdump和wireshark软件进行数据包抓取和分析技术2.实验环境硬件要求:阿里云云主机ECS一台。软件要求:Linux/Windows操作系统3.实验内容3.1tcpdump基本用法tcpdump是一个用于截取网络分组,并输出分组内容的工具。凭借强大的功能和灵活的截取策略,使其成为类UNIX系统下用于网络分析和问题排查的首选工具tcpdump支持针对网络层、协议、主机、网络或端口的过滤,并提供and、or、not等逻辑语句来帮助你去掉无用的信息参考资料:https://www.cnblogs.com

【音视频基础】H264格式分析

介绍H264是基于运动补偿的视频编码标准。所谓编码我的理解就是对数据进行压缩便于网络传输。而视频编码就是依据图像帧的像素块之间的相似性对图像进行压缩。相关概念H264结构中,一幅图像编码后的数据叫一帧,一帧由一个或多个Slice片组成,一片由一个或多个MB宏块组成,一个宏块由16*16的yuv数据组成。宏块是H264编码的基本单位。帧类型H264定义了三种帧,I帧,P帧,B帧。I帧:关键帧,帧内压缩将全帧图像进行压缩编码传输,解码时只用本身的数据就能重构完整图像。I帧是一个GOP帧组的第一帧,也是唯一I帧。描述了图像背景和运动主体的详情,不需要参考运动矢量。因为是全帧压缩,所以数据量较大,但解

执法记录仪、一体化布控球等目前支持的AI智能算法、视频智能分析算法有哪些

一、前端设备实现AI算法主要是基于安卓的布控球实现,已有的算法包括:1)人脸;2)车牌;3)是否佩戴安全帽;4)是否穿着工装;可以支持定制开发 烟雾,火焰等智能识别算法。双T卡,双屏显示,安卓系统AI智能布控球,内置人脸、车牌、安全帽识别、烟火识别、抽烟识别等多种AI识别算法,全方位保障工地安全,https://www.besovideo.com/detail?t=2&i=1076 安霸4K机芯+高通骁龙625-安卓系统H.2654G图传一体化应急布控球,内置小显示屏,可承载客户自有行业APP,可选配支持人脸识别、车牌识别,是否佩戴安全帽识别,烟火检测等各类AI智能算法,与4G单兵执法仪、智能

分析阿里巴巴的微服务依赖图和性能

论文对阿里巴巴集群中部署的大规模微服务进行了全面的研究。他们分析了7天内20,000多个微服务的行为,并根据收集的100亿条调用跟踪来分析它们的特征。该论文获得SOCC2021最佳论文奖。他们发现:微服务图在运行时是动态的大多数图形像树一样分散生长调用图的大小遵循重尾分布根据他们的发现,他们提供了一些有关提高微服务运行时性能的实用技巧。他们还开发了一个随机模型来模拟微服务调用图依赖关系,并表明它近似于他们收集的数据集(可在https://github.com/alibaba/clusterdata获取)。一个微服务运行在多个容器上。对前端微服务的调用会触发对其他微服务的调用,依此类推。在生成的

MySQL线上死锁案例分析

项目场景项目开发中有两张表:c_bill(账单表),c_bill_detail(账单明细表),他们的表结构如下(这里只保留必要信息):CREATETABLE`c_bill_detail`(`id`bigintunsignedNOTNULLAUTO_INCREMENTCOMMENT'主键',`bill_detail_no`varchar(32)NOTNULLDEFAULT''COMMENT'对账单编号',`receivable_date`datetime(3)DEFAULTNULLCOMMENT'应收日期',`order_type`varchar(20)NOTNULLDEFAULT''COMME

【金融数据分析】计算沪深300指数行业权重分布并用饼图展示

前言前面的文章我们已经介绍了如何获取沪深300成分股所述行业以及权重的数据,想要了解这部分内容的小伙伴可以阅读上一篇文章springboot+jdbcTemplate+sqlite编程示例——以沪深300成分股数据处理为例-CSDN博客那么有了上文获取的数据,我们实际上可以计算一下沪深300按照行业分布的权重占比数据,最后的成果如下所示 是不是效果还挺酷的,下面就来介绍一下技术细节。后端技术细节首先来讲一下后端的技术细节,其实后端需要做的就是从表中获取按行业区分的权重数据,我们先来看一下数据表数据表中包含了所述行业和权重占比,那么思路就很明确了,我们只需要查出所有的行业,然后按照行业统计权重之

Firefox源代码分析;每个组件的代码行

我目前正在尝试分析Bugzilla,以找到numberofbugs:linesofcode对于每个Firefox组件。但是,我以前从未与Bugzilla合作过,也不知道Firefox的代码库。我将如何查找每个Firefox组件的代码行(如它们出现在Bugzilla在CompHeader下)?我试图查看MozillaCentral,但不知道哪个源文件与哪些组件有关。编辑:Dexter指出,Mozilla-Central树中有一个指令Bug_component,但该指令似乎非常不完整,没有帮助。任何其他建议或关于我可以得到的建议的建议,都将不胜感激。看答案好问题!我们最近添加了BUG_COMPON