【最优化算法】基于【MATLAB】的共轭梯度法【Conjugate Gradient】分析与推导

Ali.s 2023-07-10 原文

🚀个人主页：欢迎访问Ali.S主页

📆 最近更新：2022年7月19日

⛽ Java框架学习系列：Mybatis框架

⛳ Java基础学习系列：面向对象飞机大战

🏆 通信仿真学习系列：【硬件】【通信】【MATLAB】【最优化】

🍄 个人简介：通信工程本硕🌈、Java程序员🚴。目前只会CURD😂

💌 点赞 👍 收藏 💗留言 💬 都是我最大的动力💯

文章目录

一、共轭梯度法介绍

前面介绍过为了解决牛顿法中可能出现在某步迭代时，目标函数数值上升的问题，引入阻尼牛顿法进行修正，但是在牛顿法和阻尼牛顿法中都存在计算Hesse矩阵的问题，使得在多次迭代时可能会出现计算量过大的问题，为解决Hesse矩阵的问题，这里引入共轭梯度法对优化问题进行处理。共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它不需要对Hesse矩阵进行计算，只需要对函数的一阶导数进行处理，不仅克服了最速下降法收敛慢的缺点，而且避免了牛顿法需要计算Hesse矩阵并求逆的缺陷，共轭梯度法是非常重要的一种求解无约束问题的算法，其优点是超线性收敛，且算法简单，编程容易实现。

二、共轭梯度法原理

在求解n维正定二次函数时，极小值点产生一组共轭方向作为搜索方向，在最优步长的搜索下，迭代n步得到极小点，经过适当修正之后，可以推广到其它阶函数的优化问题的求解上来。下面以严格凸二次函数进行讨论：
对于严格二次凸函数：A为对称正定矩阵；

取：

下式中a0为最优步长，

由前面最速下降法中：

可以类比得到：

令：

其中B的选取需要满足：

从上式可以解出：

所以就得到dk的迭代关系为：

多次重复上述步骤得到：

最终整理得到共轭梯度法的迭代公式为：

三、共轭梯度法步骤

给定初始点x(0)，设置允许误差0<ε<1
计算初始点的梯度，并取负梯度作为d0
判断梯度范数与允许误差的大小
若梯度范数大于允许误差，则进行下面的计算：

否则停止搜索，得到最优解。
迭代次数更新：k=k+1
转步骤（2）继续进行后续搜索，直至得到满足精度要求的最优解。

四、共轭梯度法代码

共轭梯度函数

     function [k,x,val]=linecg(A,b,x0,epsilon,N)
     if nargin<5,
         N=1000;
     end
     if nargin<4, 
         epsilon=1.e-5;
     end
     if nargin<3, 
         x0=zeros(length(b),1);
     end
     k=0;
     gk=A*x0-b;
     dk=-gk;
     while(k<N)
         temp=A*dk;
         alpha=-gk'*dk/(dk'*temp);
         x=x0+alpha*dk;
         gk=A*x-b;
         betak=gk'*temp/(dk'*temp);
         dk=-gk+betak*dk;
         if(norm(gk)<epsilon), 
             break;
         end
         x0=x;
         k=k+1;
     end
     val=0.5*x'*A*x-b'*x;

梯度函数

 function gf=gfun(x)
    gf=[4*x(1)-2*x(2);2*x(2)-2*x(1)-2];

五、共轭梯度法测试

    function f=fun(x)
    f=2*x(1)^2+x(2)^2-2*x(1)*x(2)-2*x(2);

总结

共轭梯度法是介于最速下降法与牛顿法之间的一个方法，它不需要对Hesse矩阵进行计算，只需要对函数的一阶导数进行处理，不仅克服了最速下降法收敛慢的缺点，而且避免了牛顿法需要计算Hesse矩阵并求逆的缺陷，共轭梯度法是非常重要的一种求解无约束问题的算法，其优点是超线性收敛。

有关【最优化算法】基于【MATLAB】的共轭梯度法【Conjugate Gradient】分析与推导的更多相关文章

叮咚买菜基于 Apache Doris 统一 OLAP 引擎的应用实践 - 2
导读：随着叮咚买菜业务的发展，不同的业务场景对数据分析提出了不同的需求，他们希望引入一款实时OLAP数据库，构建一个灵活的多维实时查询和分析的平台，统一数据的接入和查询方案，解决各业务线对数据高效实时查询和精细化运营的需求。经过调研选型，最终引入ApacheDoris作为最终的OLAP分析引擎，Doris作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图，在叮咚买菜数十个业务场景中广泛应用。作者｜叮咚买菜资深数据工程师韩青叮咚买菜创立于2017年5月，是一家专注美好食物的创业公司。叮咚买菜专注吃的事业，为满足更多人“想吃什么”而努力，通过美好食材的供应、美好滋味的开发以及美食品牌的孵
Matlab imread（）读到了什么（浅显当复习文档了） - 2
matlab打开matlab，用最简单的imread方法读取一个图像clcclearimg_h=imread('hua.jpg');返回一个数组（矩阵），往往是a*b*cunit8类型解释一下这个三维数组的意思，行数、数和层数，unit8：指数据类型，无符号八位整形，可理解为0~2^8的数三个层数分别代表RGB三个通道图像rgb最常用的是24-位实现方法，即RGB每个通道有256色阶（2^8）。基于这样的24-位RGB模型的色彩空间可以表现256×256×256≈1670万色当imshow传入了一个二维数组，它将以灰度方式绘制；可以把图像拆分为rgb三层，可以以灰度的方式观察它figure(1
基于C#实现简易绘图工具【100010177】 - 2
C#实现简易绘图工具一.引言实验目的:通过制作窗体应用程序(C#画图软件),熟悉基本的窗体设计过程以及控件设计,事件处理等,熟悉使用C#的winform窗体进行绘图的基本步骤,对于面向对象编程有更加深刻的体会.Tutorial任务设计一个具有基本功能的画图软件**·包括简单的新建文件,保存,重新绘图等功能**·实现一些基本图形的绘制,包括铅笔和基本形状等,学习橡皮工具的创建**·设计一个合理舒适的UI界面**注明:你可能需要先了解一些关于winform窗体应用程序绘图的基本知识,以及关于GDI+类和结构的知识二.实验环境Windows系统下的visualstudio2017C#窗体应用程序三.
MIMO-OFDM无线通信技术及MATLAB实现（1）无线信道：传播和衰落 - 2
MIMO技术的优缺点优点通过下面三个增益来总体概括：阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下，MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中，可以获得复用增益，即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中，可以获得分集增益，即可靠性性能的改善。分集增益用独立衰落支路数来描述，即分集指数。在使用了空时编码的MIMO系统中，由于接收天线或发射天线之间的间距较远，可认为它们各自的大尺度衰落是相互独立的，因此分布式MIMO
kvm虚拟机安装centos7基于ubuntu20.04系统 - 2
需求：要创建虚拟机，就需要给他提供一个虚拟的磁盘，我们就在/opt目录下创建一个10G大小的raw格式的虚拟磁盘CentOS-7-x86_64.raw命令格式：qemu-imgcreate-f磁盘格式磁盘名称磁盘大小qemu-imgcreate-f磁盘格式-o?1.创建磁盘qemu-imgcreate-fraw/opt/CentOS-7-x86_64.raw10G执行效果#ls/opt/CentOS-7-x86_64.raw2.安装虚拟机使用virt-install命令，基于我们提供的系统镜像和虚拟磁盘来创建一个虚拟机，另外在创建虚拟机之前，提前打开vnc客户端，在创建虚拟机的时候，通过vnc
ruby-on-rails - (Ruby,Rails) 基于角色的身份验证和用户管理...？ - 2
我正在寻找用于Rails的优质管理插件。似乎大多数现有的插件/gem(例如“restful_authentication”、“acts_as_authenticated”)都围绕着self注册等展开。但是，我正在寻找一种功能齐全的基于管理/管理角色的解决方案——但不是简单地附加到另一个非基于角色的解决方案。如果我找不到，我想我会自己动手......只是不想重新发明轮子。最佳答案 RyanBates最近做了两个关于授权的railscast(注意身份验证和授权之间的区别；身份验证检查用户是否如她所说的那样，授权检查用户是否有权访问资源
ruby - 在 Rakefile 中动态生成 Rake 测试任务(基于现有的测试文件) - 2
我正在根据Rakefile中的现有测试文件动态生成测试任务。假设您有各种以模式命名的单元测试文件test_.rb.所以我正在做的是创建一个以“测试”命名空间内的文件名命名的任务。使用下面的代码，我可以用raketest:调用所有测试require'rake/testtask'task:default=>'test:all'namespace:testdodesc"Runalltests"Rake::TestTask.new(:all)do|t|t.test_files=FileList['test_*.rb']endFileList['test_*.rb'].eachdo|task|n
ruby - 如何使用 Ruby 基于字母数字字符串生成颜色？ - 2
我想要像“嘿那里”这样的东西变成，例如，#316583。我希望将任意长度的字符串“归结”为十六进制颜色。我不知道从哪里开始。我在想，每个字符串的MD5散列都是不同的-但如何将该散列转换为十六进制颜色数字？最佳答案你可以只取几位前几位:require'digest/md5'color=Digest::MD5.hexdigest('Mytext')[0..5] 关于ruby-如何使用Ruby基于字母数字字符串生成颜色？，我们在StackOverflow上找到一个类似的问题：
建模分析 | 平面2R机器人(二连杆)运动学与动力学建模(附Matlab仿真) - 2
目录0专栏介绍1平面2R机器人概述2运动学建模2.1正运动学模型2.2逆运动学模型2.3机器人运动学仿真3动力学建模3.1计算动能3.2势能计算与动力学方程3.3动力学仿真0专栏介绍?附C++/Python/Matlab全套代码?课程设计、毕业设计、创新竞赛必备！详细介绍全局规划(图搜索、采样法、智能算法等)；局部规划(DWA、APF等)；曲线优化(贝塞尔曲线、B样条曲线等)。?详情：图解自动驾驶中的运动规划(MotionPlanning)，附几十种规划算法1平面2R机器人概述如图1所示为本文的研究本体——平面2R机器人。对参数进行如下定义：机器人广义坐标
网站日志分析软件--让网站日志分析工作变得更简单 - 2
网站的日志分析，是seo优化不可忽视的一门功课，但网站越大，每天产生的日志就越大，大站一天都可以产生几个G的网站日志，如果光靠肉眼去分析，那可能看到猴年马月都看不完，因此借助网站日志分析工具去分析网站日志，那将会使网站日志分析工作变得更简单。下面推荐两款网站日志分析软件。第一款：逆火网站日志分析器逆火网站日志分析器是一款功能全面的网站服务器日志分析软件。通过分析网站的日志文件，不仅能够精准的知道网站的访问量、网站的访问来源，网站的广告点击，访客的地区统计，搜索引擎关键字查询等，还能够一次性分析多个网站的日志文件，让你轻松管理网站。逆火网站日志分析器下载地址：https://pan.baidu.