草庐IT

SPSS 特征筛选、主成分回归

小数据→y:连续性变量→x:6个以内→理论→验证→统计分析;大数据→y:分类变量→x:15个以内→探索→数据挖掘;一、X的选择流程业务(业务专家):运营报告→年度报/季度报总是提到的字段→非常重要的变量;相关:求xi与y相关系数→降序排序→底部30%删除→非常不重要的变量;共线性:求x与x之间的相关系数→删除相关性较高的变量→比较重要的变量;建回归:分部门建立y与x回归(运营报告页数决定部门重要性)→每个部分删除50%→比较不重要的变量;主成分分析:一般控制6个以内(主要针对比较不重要的变量);老年人和未成年人电商不分析→主要是促销活动容易触发法律;电商领域很多指标都是反推出来的;二、SPSS

2022 高教杯数学建模C题古代玻璃制品的成分分析与鉴别回顾及总结

2022高教杯数学建模C题古代玻璃制品的成分分析与鉴别回顾及总结Paper&Code:https://github.com/Fly-Pluche/2022-mathematical-modeling-C希望可以施舍几个star⭐️国赛分工我们三人都有主要的分工:队员A主要负责二,三问的求解以及代码的编写,使用Excel或者Python进行部分数据处理,通过Python计算第一问以及第四问的回归方程。队员B进行第一问以及第四问的求解,以及使用Excel对数据进行处理。队员C参与所有问题求解过程的讨论,主要进行论文的编写,队员A与队员B都参与论文的部分编写的工作。流程图等是由队员A以及队员B绘制的

主成分分析

一、原理分析1、主成分分析概述主成分分析(PrincipalComponentAnalysis,PCA),将多个变量通过线性变换以选出较少个数重要变量的一种多元统计分析方法。主成分:由原始指标综合形成的几个新指标。依据主成分所含信息量的大小成为第一主成分,第二主成分等等。2、主成分与原始变量之间的关系:(1)主成分保留了原始变量绝大多数信息。(2)主成分的个数大大少于原始变量的数目。(3)各个主成分之间互不相关。(4)每个主成分都是原始变量的线性组合。3、思考几个问题主成分分析就是设法将原来众多具有一定相关性的变量(如p个变量),重新组合成一组新的相互无关的综合变量来代替原来变量。怎么代替?通

利用R语言进行主成分分析的步骤

主成分分析原理:数据标准化计算相关系数(协方差)矩阵求解特征值和相应的特征向量计算主成分得分绘制主成分散点图根据主成分得分的数据,进行分析首先,导入数据。library(openxlsx)data0 =read.xlsx('D:/duoyuan_data/mvexer5.xlsx','E8.4',rowNames=TRUE)head(data0)第一步,对数据进行预处理A第二步,计算相关系数矩阵及特征值和特征向量R第三步,进行主成分分析确定主成分个数#使用R自带的princomp包进行主成分分析,默认使用协方差阵求pca由上述数据得出的结果可知,前n个主成分的累计方差贡献率为92.41%,大于

Python-sklearn之PCA主成分分析

文章目录写在前面一、PCA主成分分析1、主成分分析步骤2、主成分分析的主要作二、Python使用PCA主成分分析写在前面作为大数据开发人员,我们经常会收到一些数据分析工程师给我们的指标,我们基于这些指标进行数据提取。其中数据分析工程师最主要的一个特征提取方式就是PCA主成分分析,下面我将介绍Python的sklearn库中是如何实现PCA算法及其使用。一、PCA主成分分析什么是PCA主成分分析。百度百科给出如下定义:1、主成分分析步骤对于一个PCA主成分分析,一般分为以下几个步骤:去除平均值计算协方差矩阵计算协方差矩阵的特征值和特征向量将特征值排序保留前N个最大的特征值对应的特征向量将原始特征

Python-sklearn之PCA主成分分析

文章目录写在前面一、PCA主成分分析1、主成分分析步骤2、主成分分析的主要作二、Python使用PCA主成分分析写在前面作为大数据开发人员,我们经常会收到一些数据分析工程师给我们的指标,我们基于这些指标进行数据提取。其中数据分析工程师最主要的一个特征提取方式就是PCA主成分分析,下面我将介绍Python的sklearn库中是如何实现PCA算法及其使用。一、PCA主成分分析什么是PCA主成分分析。百度百科给出如下定义:1、主成分分析步骤对于一个PCA主成分分析,一般分为以下几个步骤:去除平均值计算协方差矩阵计算协方差矩阵的特征值和特征向量将特征值排序保留前N个最大的特征值对应的特征向量将原始特征

数学建模学习(102):成分数据分析之中心对数比转换【已修改】

为什么要写这篇文章?背景源于2022国赛C题的评阅要点,很多参加数模的同学应该都看到了,估计几乎没有人听说过这个方法。因此,本文对该方法进行一个讲解。当然,其实你在这次比赛中没有用到这个方法,也不影响你的国奖。在我国赛辅导的几个同学中,我也是教他们用的机器学习,最后还是进入国二国一了。好了,闲聊到此为止。有一篇文献说到:地质学家为什么要使用成分数据分析?本文除了原理的一些讲解外,案例全部有python实现。同时除了会讲到CLR方法,还会提到一些其它的方法,比如等距对数比变换、加法对数比率变换等。文章目录一、成分数据和CLR1.1成分数据1.2单纯形1.3CLR转换原理二、轻松实现一、成分数据和

数学建模——古代玻璃制品的成分分析与鉴别的设计

摘 要本文针对不同类别文物样品的相关数据,利用数学模型及分析算法,探求不同玻璃文物中类型、颜色、纹饰、化学成分等数据之间存在的差异与联系,探索古代玻璃文物化学成分之间存在的规律,探究对未知类别玻璃文物进行鉴别的机理。问题一中,利用卡方检验从玻璃类型、纹饰以及颜色等因素对玻璃文物表面产生风化的原因进行了分析,对风化影响最大的因素是玻璃类型,其次是纹饰和颜色,铅钡玻璃文物易风化,但高钾玻璃类型中B纹饰风化程度也较高;依据玻璃文物类型及有无风化,分为铅钡风化、铅钡无分化、高钾风化、高钾无分化四类,利用可视化分析展示了化学成分含量的分类规律,通过风化前后的化学成分含量的变化,预测其风化前的含量。问题二

PCA(主成分分析)的理解与应用(学习笔记)

PCA        主成分分析(PrincipalComponentAnalysis,PCA)是一种线性降维算法,也是一种常用的数据预处理(Pre-Processing)方法。它的目标是是用方差(Variance)来衡量数据的差异性,并将差异性较大的高维数据投影到低维空间中进行表示。绝大多数情况下,我们希望获得两个主成分因子:分别是从数据差异性最大和次大的方向提取出来的,称为PC1(PrincipalComponent1)和PC2(PrincipalComponent2)。PCA的具体实现随机选取的六名学生的数学和语文考试成绩student_id123456scores19270957372

主成分分析(PCA)算法模型实现及分析(MATLAB实现)PCA降维

主成分分析(PCA)算法模型实现及分析(源码在文章后附录)1引言2关于PCA原理和算法实现2.1PCA基本原理2.2协方差计算2.3PCA实现步骤  (1)PCA算法实现步骤  (2)基于特征值分解协方差矩阵实现PCA算法(3)基于SVD分解协方差矩阵实现PCA2.4简单的总结一下MATLAB代码附页:Author:NirvanaOfPhoenixlProverbsforyou:Thereisnodoubtthatgoodthingswillalwayscome,andwhenitcomeslate,itcanbeasurprise.1引言  主成分分析(PCA)是一种能够极大提升无监督特征学