降维，可以用下面这张图来很简单的描述，就是将不同的、复杂的多种树都抽象成最简单的树的描述，也就是我们不关心这棵树长什么样子有什么特别的特征，我们只需要降维，知道它是一棵树即可。
维度下降实际上就是找到一个function，使得输入x得到输出z，而输出z的维度要比输入x的维度小。具体有几种方面，下面就先将PCA（主成分分析）
PCA认为，function实际上可以看成一个矩阵，即：
可以通过一个向量与矩阵的运算来描述这件事。那么当前假设x为二维向量，而要求降到一维的向量z，而w的范数等于1，则可以看成z就是x在w上的投影
不同方向的w会导致投影出来的z不一样，因此我们的目标是找到一个w，它能够使得投影之后的z的差异性能够最大，而不是都挤在一起，如下图：
那么如果是降到多维的话也是同理，首先先找某一维度能够让对应方差最大，再找另一维度能够让对应方差最大且\(w^2\)与\(w^1\)是正交的，以此类推：
最终得到的\(W\)是正交矩阵。
而经过一系列的推导（此部分推导可以具体看影片，之后我也会把统计学习方法中的推导过程补上）得到的结论就是：假设x的协方差矩阵为\(S=Cov(x)\)，而\(w^i\)就是矩阵S所有特征值中第i大的特征值对应的特征向量。
假设当前有许多个基础的组成成分，而我们每张图片都可以看成是由多个组成成分和一个基础的均值（全数样本的均值）相加而成的，看成在图片均值的基础上拥有自身差异性的部分，那么根据该图片中是否有对应的基础成分就可以写出来一个向量\(C=[c_1,c_2,...]\)，如果组成成分不是特别多而图片特别多，那我们用向量C来表示一张图片是非常有意义的。
那么就可以写成
因此我们的思路就转换成找到一组向量\(\{u^1,u^2,...,u^k\}\)能够使得 \(x-\bar{x}\)与\(\hat{x}\)之间的距离最小化，即
而可以证明，由PCA方法找出来的向量组\(\{w^1,w^2,...,w^k\}\)就是我们要找的目标向量组。而将上述运算转换成矩阵形式：
目标就是找出矩阵u和矩阵c，使得他们相乘之后和矩阵X的差距最小。而回顾学过的SVD，矩阵X可以进行分解：
其中矩阵U的k个列向量就是矩阵\(XX^T\)的最大的前k个特征向量，而\(XX^T\)就是\(S=Cov(x)\)，因此这也就是我们想要找到\(\{w^1,w^2,...w^k\}\)，因此只要进行SVD分解就可以找到目标的\(\{u^1,u^2,...u^k\}\)。那么下一个问题就是求解矩阵C。
由于我们已知了矩阵U，那么对于某个样本，就有：
而由于矩阵W中每一个向量都是相互正交的，就可以有：
(此部分我也不太理解怎么推导出来的，希望会的大神教教)。接下来就可以将这一个过程用神经网络的形式来表示：（注意图中应该是c应该是下标不是上标）。
但是如果现在我们不是从SVD中解出矩阵W，而是从这神经网络之中来进行梯度下降求解，这样求出来的结果和用SVD求出来的结果是不一样的！因为在SVD中求出来的结果还有限制它们彼此之间是正交的，而神经网络是没有的。而将PCA看成是具有一个隐含层的神经网络的方式称为Autoencoder。
但其实用SVD的方式求解起来更快更好，而要学习这种神经网络的方式是因为其隐含层可以加层来实现更复杂的操作。
首先是无监督性质，如果样本本身就具有一定的类别信息，那么就会出现下面这样的问题：
可以看到如果有类别区分那么做PCA就会将它们混淆在一起。
其次它是线性变换，无法做非线性的事情：
如果将PCA对人脸数据进行处理：
可以看到各个出来的特征向量并不是我们想象中的基本组成部分（比如嘴巴什么的），更像是一张完整的脸，这是为什么呢？
因为这些向量的组成成分的加权数字并不一定是正的，如果是负数就相当于先画出一个很复杂的东西然后再减去某个元素。这样就很不直观。如果想要加权的参数都是正的，可以采用NMF，它能够使得参数\(a_i\)都是正的，其次是每个\(w^i\)里面每个维度的数值都是正的，这是PCA无法保证的，因为在图像中\(w^i\)就象征第i个组成部分的图像，如果某个像素是负的那将无法处理，PCA就会出现这个问题。
能够更明显地看出组成部分，符合我们的预期。
这似乎非常适得其反，因为太多的gem会在window上破裂。我一直在处理很多mysql和ruby-mysqlgem问题(gem本身发生段错误，一个名为UnixSocket的类显然在Windows机器上不能正常工作，等等)。我只是在浪费时间吗？我应该转向不同的脚本语言吗？ 最佳答案 我在Windows上使用Ruby的经验很少，但是当我开始使用Ruby时，我是在Windows上，我的总体印象是它不是Windows原生系统。因此，在主要使用Windows多年之后，开始使用Ruby促使我切换回原来的系统Unix，这次是Linux。Rub
目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》，侵权删。前言最近需要学习放大电路和滤波电路，但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放，所以也是相当从零开始学习了。滤波电路科普主要分类滤波器：主要是从不同频率的成分中提取出特定频率的信号。有源滤波器：由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波，最普通易于采用的无源滤波器结构是将电感与电容串联，可对主要次谐波（3、5、7）构成低阻抗旁路。无源滤波器：无源滤波器，又称
最近在学习CAN，记录一下，也供大家参考交流。推荐几个我觉得很好的CAN学习，本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门，真的通透；秀！靠这篇我竟然2天理解了CAN协议！实战STM32F4CAN！原文链接：https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解（小白教程）原文链接：https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总
深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal
require"socket"server="irc.rizon.net"port="6667"nick="RubyIRCBot"channel="#0x40"s=TCPSocket.open(server,port)s.print("USERTesting",0)s.print("NICK#{nick}",0)s.print("JOIN#{channel}",0)这个IRC机器人没有连接到IRC服务器，我做错了什么？ 最佳答案 失败并显示此消息::irc.shakeababy.net461*USER:Notenoughparame
我完全不是程序员，正在学习使用Ruby和Rails框架进行编程。我目前正在使用Ruby1.8.7和Rails3.0.3，但我想知道我是否应该升级到Ruby1.9，因为我真的没有任何升级的“遗留”成本。缺点是什么？我是否会遇到与普通gem的兼容性问题，或者甚至其他我不太了解甚至无法预料的问题？ 最佳答案 你应该升级。不要坚持从1.8.7开始。如果您发现不支持1.9.2的gem，请避免使用它们(因为它们很可能不被维护)。如果您对gem是否兼容1.9.2有任何疑问，您可以在以下位置查看:http://www.railsplugins.or
如何学习ruby的正则表达式？(对于假人) 最佳答案 http://www.rubular.com/在Ruby中使用正则表达式时是一个很棒的工具，因为它可以立即将结果可视化。 关于ruby-我如何学习ruby的正则表达式？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.com/questions/1881231/
深度学习12.CNN经典网络VGG16一、简介1.VGG来源2.VGG分类3.不同模型的参数数量4.3x3卷积核的好处5.关于学习率调度6.批归一化二、VGG16层分析1.层划分2.参数展开过程图解3.参数传递示例4.VGG16各层参数数量三、代码分析1.VGG16模型定义2.训练3.测试一、简介1.VGG来源VGG（VisualGeometryGroup）是一个视觉几何组在2014年提出的深度卷积神经网络架构。VGG在2014年ImageNet图像分类竞赛亚军，定位竞赛冠军；VGG网络采用连续的小卷积核（3x3）和池化层构建深度神经网络，网络深度可以达到16层或19层，其中VGG16和VGG
文章目录1、自相关函数ACF2、偏自相关函数PACF3、ARIMA(p,d,q)的阶数判断4、代码实现1、引入所需依赖2、数据读取与处理3、一阶差分与绘图4、ACF5、PACF1、自相关函数ACF自相关函数反映了同一序列在不同时序的取值之间的相关性。公式：ACF(k)=ρk=Cov(yt,yt−k)Var(yt)ACF(k)=\rho_{k}=\frac{Cov(y_{t},y_{t-k})}{Var(y_{t})}ACF(k)=ρk=Var(yt)Cov(yt,yt−k)其中分子用于求协方差矩阵，分母用于计算样本方差。求出的ACF值为[-1,1]。但对于一个平稳的AR模型，求出其滞
目录0专栏介绍1平面2R机器人概述2运动学建模2.1正运动学模型2.2逆运动学模型2.3机器人运动学仿真3动力学建模3.1计算动能3.2势能计算与动力学方程3.3动力学仿真0专栏介绍?附C++/Python/Matlab全套代码?课程设计、毕业设计、创新竞赛必备！详细介绍全局规划(图搜索、采样法、智能算法等)；局部规划(DWA、APF等)；曲线优化(贝塞尔曲线、B样条曲线等)。?详情：图解自动驾驶中的运动规划(MotionPlanning)，附几十种规划算法1平面2R机器人概述如图1所示为本文的研究本体——平面2R机器人。对参数进行如下定义：机器人广义坐标
