草庐IT

SVD分解

醉翁之意不在酒~ 2023-04-03 原文

一、SVD简介

奇异值分解(SVD)是在机器学习领域广泛运用的算法,他不光可以用在降维算法中的特征值分解,还可以用于推荐系统,以及自然语言处理等领域,是很多算法的基石。

二、特征值和特征向量

我们首先回顾下特征值和特征向量的定义如下:
                                                                Ax=λx
其中A是一个n X n的矩阵,x是一个n维向量,则我们说入是矩阵A的一个特征值,而x是矩阵A的特征值入所对应的特征向量。

求出特征值和特征向量有什么好处呢?就是我们可以将矩阵A特征分解。如果我们求出了矩阵A的n个特征值λ1≤λ2 <...≤λn,以及这n个特征值所对应的特征向量{w1, w2,... wn},那么矩阵A就可以用下式的特征分解表示:


其中W是这n个特征向量所张成的n X n维矩阵,而Σ为这n个特征值为主对角线的n X n维矩阵。

一般我们会把W的这n 个特征向量标准化,即满足||wi||2 = 1,或者说wi.Twi = 1,此时W的n个特征向量为标准正交基,满足W.TW = 1,即W.T = w-1,也就是说W为酉矩阵。
这样我们的特征分解表达式可以写成:

特征值分解只可以在方阵中进行处理,不能应用的非方阵中,如果我们要对非方阵进行特征分解,这是我们就要用到SVD。

三、SVD的定义

        SVD也是对矩阵进行分解,但是和特征分解不同,SVD并不要求矩阵为方阵。假设我们的矩阵A是一个m×n的矩阵,那么我们定义矩阵A的SVD为:

        其中U是一个m x m的矩阵,Σ是一个m x n的矩阵,除了主对角线上的元素以外全为0 ,主对角线上的每个元素都称为奇异值,V是一 个n x n的矩阵。U和V都是酉矩阵,即满U.TU= I,V.TV= I。下图可以很形象的看出上面SVD的定义:

四、求解SVD矩阵

那么我们如何求出SVD分解后的U, Σ,V这三个矩阵呢?
        如果我们将A的转置和A做矩阵乘法,那么会得到n X n的一个方阵AT A。既然AT A是方阵,那么我们就可以进行特征分解,得到的特征值和特征向量满足下式:

        这样我们就可以得到矩阵AT A的n个特征值和对应的n个特征向量v了。将AT A的所有特征向量张成一个n X n的矩阵V ,就是我们SVD公式里面的V矩阵了。一般我们将V中的每 个特征向量叫做A的右奇异向量。
        如果我们将A和A的转置做矩阵乘法,那么会得到m x m的一一个方阵AAT。 既然AAT是方阵,那么我们就可以进行特征分解,得到的特征值和特征向量满足下式:


        这样我们就可以得到矩阵AAT的m个特征值和对应的m个特征向量u了。将AAT的所有特征向量张成一个m x m的矩阵U ,就是我们SVD公式里面的U矩阵了。-般我们将U中的每个特征向量叫做A的左奇异向量。
        U和V我们都求出来了, 现在就剩下奇异值矩阵习没有求出了。由于乙除了对角线上是奇异值其他位置都是0 ,那我们只需要求出每个奇异值σ就可以了。 

 这样我们可以求出每个奇异值,进而求出奇异矩阵。

在上述中为什么A*A.T为U矩阵,而A.T*A为V矩阵?

原因如下: 

 

进一步我们还可以看出我们的特征值矩阵等于奇异值矩阵的平方,也就是说特征值和奇异值满足如下关系:

                                                               

这样也就是说,我们可以不用σi = Avi/u;来计算奇异值,也可以通过求出AT A的特征值取平方根来求奇异值。(奇异矩阵是从大到小排序)

五、求解实例

 

六、SVD性质

        对于奇异值,它跟我们特征分解中的特征值类似,在奇异值矩阵中也是按照从大到小排列,而且奇异值的减少特别的快,在很多情况下,前10%甚至1 %的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说,我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。

        由于这个重要的性质,SVD可以用于PCA降维,来做数据压缩和去噪。也可以用于推荐算法,将用户和喜好对应的矩阵做特征分解,进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法,比如潜在语义索引(LSI) 。

七、SVD用于PCA降维

        实际上SVD在PCA降维上只是使用了U矩阵(左奇异矩阵),其原因就是U矩阵(左奇异矩阵)是进行列压缩,而V矩阵(右奇异矩阵)是对行进行压缩,而PCA降维只需要减少特征从而进行降维,所以PCA只用到了SVD的U矩阵(左奇异矩阵)。具体解释可参照上文推导过程(左奇异矩阵的由来)。

八、SVD总结

        SVD作为一个很基本的算法,在很多机器学习算法中都有它的身影,特别是在现在的大数据时代,由于SVD可以实现并行化,因此更是大展身手。SVD的原理不难,只 要有基本的线性代数知识就可以理解,实现也很简单因此值得仔细的研究。当然,SVD的缺点是分解出的矩阵解释性往往不强,有点黑盒子的味道,不过这不影响它的使用。

有关SVD分解的更多相关文章

  1. ruby-on-rails - 将大型 Rails 应用程序分解成较小的应用程序? - 2

    按照目前的情况,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visitthehelpcenter指导。关闭10年前。我有一个包含600个模型的Rails应用程序,很快就会增加到800-1000个。我想对Rails应用程序进行分段,以便仅加载某些模型,因此充当单独的应用程序,但所有模型都共享相同的基本模型。是否有执行此操作的标准做法?编辑:我在2.3.8编辑2:问题是许多模型是相似的,但不同之处恰恰足以保证编写一个新类,也就是说,将所有模型都放在一个模型中所需的逻辑将是

  2. ruby-on-rails - 你如何分解出 RSpec 中常见的 "before(:each)"调用,以便多个规范可以使用它们? - 2

    我想分解这堆代码,以便我所有的Controller测试(好吧,几乎所有的)都使用这个before(:each)block:before(:each)do@user=User.newcontroller.stub(:authenticate_user!)controller.stub(:current_user).and_return(@user)controller.stub(:add_secure_model_data)end有什么办法吗?我不想将它包含在所有Controller中......因为有一些不需要它。基本上,每个从SecureController扩展的Controller

  3. ruby-on-rails - 如何分解长行的 Ruby - 2

    我总是在我的Railsmodels顶部看到大行代码。我正在寻找用标准Ruby风格分解它们的最佳方法的建议。例如,我现在看到的一行是这样的:delegate:occupation,:location,:picture_url,:homepage_url,:headline,:full_name,:to=>:profile,:prefix=>true,:allow_nil=>true打破这些长方法调用行的传统风格是什么? 最佳答案 简短的回答是视情况。基础知识首先,您可以使用“新的”Ruby哈希语法保存几个字符:result=very_

  4. javascript将字符串转换和分解为数字 - 2

    我可以用什么把这个字符串转换成数字?“148,326.00美元”我猜我需要分解它并去掉美元符号,然后使用parseFloat()?这是最明智的方法吗?这就是我获取号码​​的方式:varhomestead=xmlDoc.getElementsByTagName("sc2cash");document.getElementById('num1').innerHTML=homestead[1].textContent; 最佳答案 您需要删除美元符号和逗号,(字符串替换),然后转换为float值试试这个:parseFloat('$148,3

  5. javascript - 将一个 ES6 类分解成多个文件 - 2

    这个问题在这里已经有了答案:SplittingupclassdefinitioninES6/Harmony(2个答案)关闭7年前。使用JavaScript“类”(我知道这不是真正的类),可以通过将方法放在单独的文件中来分解一个大的定义,如下所示:varFoo=function(){console.log('initializingfoo');};Foo.prototype.render=require('./render');但是对于ES6类,语法似乎排除了这种方法——似乎方法总是必须在类block中编写为函数文字。我triedthis在6to5REPL中:classFoo{const

  6. Javascript - 分解字符串文字......为什么? - 2

    很抱歉,问题标题太含糊了,但我正在查看招聘公告板转化跟踪软件中的一些代码,这是我第一次遇到这个问题。document.write('');document.write('');他们为什么要以这种方式分解字符串文字?具体'' 最佳答案 当HTML解析器看到某些标签时,即使嵌入在JavaScript字符串中,它们也会立即被解析为那些标签。分解它们可以避免这种行为--是通常会引起问题的那个;我同意Mike的观点,对于iframe没有必要。s(据我所知也没有其他人,但我不能以任何权威的方式谈论它)。这也是一种避免被爬虫简单解析的技巧。

  7. javascript - Bluebird promises - 如何分解一个数组,然后映射它? - 2

    如果我有一个数组:['one.html','two.html','three.html']我如何分解该数组,对其应用一连串的promise,然后将其重新组合在一起?目前我的代码是这样的:Promise.map(['one','two','three'],function(i){dbQuery('SELECT'+i);}).then(function(results){//ThishasanarrayofDBqueryresults});我在想像这样的事情:Promise.map(['one','two','three'],function(i){dbQuery('SELECT'+i);

  8. javascript - 同步事件多路分解如何成为繁忙等待的解决方案? - 2

    我正在尝试了解同步事件多路分解如何成为繁忙等待的解决方案。假设有3个IO操作,我们有一段代码不断循环检查这3个操作中是否有数据可供读取。arry=[event1,event2,event3]while(arryisnotempty){for(i=0;i上面的伪代码做了一个忙碌的等待。现在,在同步事件多路分解或react器模式中,事件监听器会在事件发生时对其做出响应。但是事件监听器如何在不忙等待的情况下做到这一点? 最佳答案 进程是已执行的计算机程序的实例(执行任务或模块)。在一个进程中,我们可以有多个称为线程的组件。您可以将线程想象

  9. javascript - Jquery - 如何分解数组值 - 2

    是否可以根据字符对数组中的数据进行爆破?.each(myArr,function(key,value){});我采用这样的数组value是array的值。可以用“-”引爆值吗? 最佳答案 使用split():varitems=value.split('-'); 关于javascript-Jquery-如何分解数组值,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/10348213/

  10. javascript - Nuxt + Vuex - 如何将 Vuex 模块分解为单独的文件? - 2

    在Nuxt文档(here)中,它说“您可以选择将模块文件分解为单独的文件:state.js、actions.js、mutations.js和getters.js。”我似乎找不到任何示例来说明这是如何完成的——很多在根级别将Vuex存储分解为state.js、actions.js、mutations.js和getters.js,以及单独的模块文件,但与分解模块本身无关。所以目前我有:├──assets├──components└──store├──moduleOne.js├──moduleTwo.js└──etc...我想要的是:├──assets├──components└──stor

随机推荐