梯度下降法（Gradient descent ）是一个一阶最优化算法，通常也称为最陡下降法 ，要使用梯度下降法找到一个函数的局部极小值 ，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。 如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法 ，相反则称之为梯度下降法。
梯度下降可以理解为你站在山的某处，想要下山，此时最快的下山方式就是你环顾四周，哪里最陡峭，朝哪里下山，一直执行这个策略，在第N个循环后，你就到达了山的最低处
如上图，假如为山的纵切面，那每次下山一小步，经过N次后你便可以到达山底。
对于3维图像，也存在类似步骤，使得在N步之后到达山脚下。
在明确何为梯度下降算法后，就要对其转化为数学公式或方法，以便借助计算机求解，进而获取符合我们想要的算法模型，对于单个变量的函数，如 y = x^2 利用初中二次函数的知识，你很快就能理解其存在最小值，且最小值为（0，0），而为了能够应对复杂函数，或者多变量函数，如 y(x，y）=x^2+y^2，甚至神经网络中数千维的函数，利用公式求解相当复杂，而对其进行微分，其微分反映的是增量，这恰恰是梯度下降算法中我们所需下山最快的方向。
如：
d
(
x
2
)
d
(
x
)
=
2
x
\frac{d(x^2) }{d(x)}=2x
d(x)d(x2)=2x
而对于复杂函数，如下图y=sin（x）+cos（y），此时由于双变量x，y的存在，仍对其求微，此时所求导数为该函数的向量（x一个导数，y一个导数，合起来就是向量），如果说单变量函数是指明哪里下山最快，那么多变量函数对其微分则是指明哪个方向上下山最快（注意：此时不再用求导而是用微分是因为导数表示的是比值，斜率；而微分表示的是增量）
以二元函数
z
=
f
(
x
,
y
)
z=f\left ( x,y \right )
z=f(x,y)为例，假设其对每个变量都具有连续的一阶偏导数
∂
z
∂
x
\frac{\partial z} {\partial x}
∂x∂z和
∂
z
∂
y
\frac{\partial z} {\partial y}
∂y∂z，则这两个偏导数构成的向量
[
∂
z
∂
x
,
∂
z
∂
y
]
\left [ \frac{\partial z} {\partial x},\frac{\partial z} {\partial y} \right ]
[∂x∂z,∂y∂z]即为该二元函数的梯度向量，一般记作
∇
f
(
x
,
y
)
\nabla f\left ( x,y \right )
∇f(x,y)。
因此：单变量函数中，梯度代表的是图像斜率的变化，多变量函数中，梯度代表的是向量，变化最快的地方，即最陡峭的方向
前面一直讨论如何下山最快和如何用数学方法来解决下山最快和下山的方向，那么还忽视了一个问题，就是下山的步子。当然，步子太大容易扯着蛋，步子太小下山太慢，可能下山都太阳落山了，因此需要确定一个步长
a
a
a，使得经过合适的步子后能够顺利最快的下山。可能你也能想到，最好的方式便是先大步子下山，在山的最低处小步，不断逼近最低处。但如果在最低处无限逼近那最后的0.000001，此时在实际意义来说是无意义的，因此同时也需确定某个值，使得迭代到某次后判断与设定值的大小，若小于则停止循环。
不同步长的比较
小步长
小步长表现为计算量大，耗时长，但比较精准。
大步长
大步长，即较大的
a
a
a，表现为震荡，容易错过最低点，计算量相对较小。
注意：由于函数凹凸性，对于凸函数能够无限逼近其最优解，对于非凸函数，只能获取局部最优解
如上图所示，对于不同的学习率或步长
α
\alpha
α,其有不同的路径下山（路径A和路径B），因此存在不同的解，这种称之为局部最优解。
确定了下降方向和大小后，就可以实现梯度下降算法了，同样，下山前我们假设在一个任意点上A（x，y，方便解释，本文统统使用2维坐标，更高维的同理），那么只需要
A
−
a
Δ
A-a\Delta
A−aΔ
表示每次向下走一小步，前面我们已经讨论，对于函数而言，此时
Δ
\Delta
Δ不能代表方向，应该用梯度来表示，即
∇
\nabla
∇，即：
A
−
a
∇
A-a\nabla
A−a∇
计算完一个梯度后，需要进行更新点A的坐标，A（x，y），循环往复，即可求得最优解，所以，梯度下降的公式为：
θ
=
θ
−
α
∗
∇
J
(
θ
)
θ=θ−\alpha∗\nabla J(θ)
θ=θ−α∗∇J(θ)
在明确公式后，所以一般的梯度下降算法的步骤为：
1、给定待优化连续可微分的函数J（θ），学习率或步长a，以及一组初始值（真实值）
2、计算待优化函数梯度
3、更新迭代
4、再次计算新的梯度
5、计算向量的模来判断是否需要终止循环
在python中，需要将一维的数字和公式转化为矩阵的形式，这能显著提升算法的运行效率和计算时间
假设我们要对简单线性回归进行拟合，从高中知识或大学知识我们可得，简单线性回归其实就是找出一条直线y=kx+b，使得尽可能的穿过多的点，如下图：
明显，直线C为最优的拟合直线，则其公式为：
J
(
Θ
)
=
1
2
m
∑
i
=
1
n
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
2
J\left ( \Theta \right )=\frac{1}{2m}\sum_{i=1}^{n}\left ( h_{\theta } \left ( x^{\left ( i \right )}\right )-y^{\left ( i \right )} \right )^{2}
J(Θ)=2m1i=1∑n(hθ(x(i))−y(i))2
其中
1
2
m
\frac{1}{2m}
2m1是方便求微分，对其结果没有影响，梯度计算公式：
∂
J
(
Θ
)
∂
θ
j
=
1
n
∑
i
=
1
n
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
x
j
(
i
)
\frac{ \partial J\left ( \Theta \right )}{\partial \theta _{j}}=\frac{1}{n}\sum_{i=1}^{n}\left ( h_{\theta } \left ( x^{\left ( i \right )}\right )-y^{\left ( i \right )} \right )x_{j}^{\left (i \right )}
∂θj∂J(Θ)=n1i=1∑n(hθ(x(i))−y(i))xj(i)
迭代公式：
θ
=
θ
−
α
∗
∇
J
(
θ
)
θ=θ−\alpha∗\nabla J(θ)
θ=θ−α∗∇J(θ)
前面所讨论中使用的梯度下降算法公式为：
∂
J
(
Θ
)
∂
θ
j
=
1
n
∑
i
=
1
n
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
x
j
(
i
)
\frac{ \partial J\left ( \Theta \right )}{\partial \theta _{j}}=\frac{1}{n}\sum_{i=1}^{n}\left ( h_{\theta } \left ( x^{\left ( i \right )}\right )-y^{\left ( i \right )} \right )x_{j}^{\left (i \right )}
∂θj∂J(Θ)=n1i=1∑n(hθ(x(i))−y(i))xj(i)
可以看出，计算机会每次从所有数据中计算梯度，然后求平均值，作为一次迭代的梯度，对于高维数据，计算量相当大，因此，把这种梯度下降算法称之为批量梯度下降算法。
随机梯度下降算法是利用批量梯度下降算法每次计算所有数据的缺点，随机抽取某个数据来计算梯度作为该次迭代的梯度，梯度计算公式：
∂
J
(
Θ
)
∂
θ
j
=
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
x
j
(
i
)
\frac{\partial J\left ( \Theta \right )}{\partial \theta _{j}}=\left ( h_{\theta }\left ( x^{\left ( i \right )} \right )-y^{\left ( i \right )} \right )x_{j}^{\left ( i \right )}
∂θj∂J(Θ)=(hθ(x(i))−y(i))xj(i)
迭代公式：
θ
=
θ
−
α
⋅
▽
θ
J
(
θ
;
x
(
i
)
;
y
(
i
)
)
\theta =\theta -\alpha \cdot \triangledown _{\theta }J\left ( \theta;x^{\left ( i \right )} ;y^{\left ( i \right )} \right )
θ=θ−α⋅▽θJ(θ;x(i);y(i))
由于随机选取某个点，省略了求和和求平均的过程，降低了计算复杂度，提升了计算速度，但由于随机选取的原因，存在较大的震荡性。
小批量梯度下降算法是综合了批量梯度下降算法和随机梯度下降算法的优缺点，随机选取样本中的一部分数据，梯度计算公式：
∂
J
(
Θ
)
∂
θ
j
=
1
k
∑
i
i
+
k
(
h
θ
(
x
(
i
)
)
−
y
(
i
)
)
x
j
(
i
)
\frac{\partial J\left ( \Theta \right ) }{\partial \theta _{j}}=\frac{1}{k}\sum_{i}^{i+k}\left ( h_{\theta } \left ( x^{\left ( i \right )}\right )-y^{\left ( i \right )} \right )x_{j}^{\left (i \right )}
∂θj∂J(Θ)=k1i∑i+k(hθ(x(i))−y(i))xj(i)
迭代公式：
θ
=
θ
−
α
⋅
▽
θ
J
(
θ
;
x
(
i
:
i
+
k
)
;
y
(
i
:
i
+
k
)
)
\theta =\theta -\alpha \cdot \triangledown _{\theta }J\left ( \theta ;x^{\left ( i:i+k \right )};y^{\left ( i:i+k \right )} \right )
θ=θ−α⋅▽θJ(θ;x(i:i+k);y(i:i+k))
通常最常用的也是小批量梯度下降算法，计算速度快，收敛稳定。
目录一.加解密算法数字签名对称加密DES(DataEncryptionStandard)3DES(TripleDES)AES(AdvancedEncryptionStandard)RSA加密法DSA(DigitalSignatureAlgorithm)ECC(EllipticCurvesCryptography)非对称加密签名与加密过程非对称加密的应用对称加密与非对称加密的结合二.数字证书图解一.加解密算法加密简单而言就是通过一种算法将明文信息转换成密文信息，信息的的接收方能够通过密钥对密文信息进行解密获得明文信息的过程。根据加解密的密钥是否相同，算法可以分为对称加密、非对称加密、对称加密和非
3月26日，映宇宙（HK:03700，即“映客”）发布截至2022年12月31日的2022年度业绩财务报告。财报显示，映宇宙2022年的总营收为63.19亿元，较2021年同期的91.76亿元下降31.1%。2022年，映宇宙的经营亏损为4698.7万元，2021年同期则为净利润4.57亿元；期内亏损（净亏损）为1.68亿元，2021年同期的净利润为4.33亿元；非国际财务报告准则经调整净利润为3.88亿元，2021年同期为4.82亿元，同比下降19.6%。 映宇宙在财报中表示，收入减少主要是由于行业竞争加剧，该集团对旗下产品采取更为谨慎的运营策略以应对市场变化。不过，映宇宙的毛利率则有所提升
1．问题描述使用Python的turtle（海龟绘图）模块提供的函数绘制直线。2．问题分析一幅复杂的图形通常都可以由点、直线、三角形、矩形、平行四边形、圆、椭圆和圆弧等基本图形组成。其中的三角形、矩形、平行四边形又可以由直线组成，而直线又是由两个点确定的。我们使用Python的turtle模块所提供的函数来绘制直线。在使用之前我们先介绍一下turtle模块的相关知识点。turtle模块提供面向对象和面向过程两种形式的海龟绘图基本组件。面向对象的接口类如下：1）TurtleScreen类：定义图形窗口作为绘图海龟的运动场。它的构造器需要一个tkinter.Canvas或ScrolledCanva
一、什么是MQTT协议MessageQueuingTelemetryTransport：消息队列遥测传输协议。是一种基于客户端-服务端的发布/订阅模式。与HTTP一样，基于TCP/IP协议之上的通讯协议，提供有序、无损、双向连接，由IBM（蓝色巨人）发布。原理：（1）MQTT协议身份和消息格式有三种身份：发布者（Publish）、代理（Broker）（服务器）、订阅者（Subscribe）。其中，消息的发布者和订阅者都是客户端，消息代理是服务器，消息发布者可以同时是订阅者。MQTT传输的消息分为：主题（Topic）和负载（payload）两部分Topic，可以理解为消息的类型，订阅者订阅（Su
TCL脚本语言简介•TCL（ToolCommandLanguage）是一种解释执行的脚本语言（ScriptingLanguage）,它提供了通用的编程能力：支持变量、过程和控制结构；同时TCL还拥有一个功能强大的固有的核心命令集。TCL经常被用于快速原型开发，脚本编程，GUI和测试等方面。•实际上包含了两个部分：一个语言和一个库。首先，Tcl是一种简单的脚本语言，主要使用于发布命令给一些互交程序如文本编辑器、调试器和shell。由于TCL的解释器是用C\C++语言的过程库实现的，因此在某种意义上我们又可以把TCL看作C库，这个库中有丰富的用于扩展TCL命令的C\C++过程和函数，所以，Tcl是
我一直在尝试用Ruby实现Luhn算法。我一直在执行以下步骤:该公式根据其包含的校验位验证数字，该校验位通常附加到部分帐号以生成完整帐号。此帐号必须通过以下测试:从最右边的校验位开始向左移动，每第二个数字的值加倍。将乘积的数字(例如，10=1+0=1、14=1+4=5)与原始数字的未加倍数字相加。如果总模10等于0(如果总和以零结尾)，则根据Luhn公式该数字有效；否则无效。http://en.wikipedia.org/wiki/Luhn_algorithm这是我想出的:defvalidCreditCard(cardNumber)sum=0nums=cardNumber.to_s.s
下面是我写的一个计算斐波那契数列中的值的方法:deffib(n)ifn==0return0endifn==1return1endifn>=2returnfib(n-1)+(fib(n-2))endend它工作到n=14，但在那之后我收到一条消息说程序响应时间太长(我正在使用repl.it)。有人知道为什么会这样吗？ 最佳答案 Naivefibonacci进行了大量的重复计算-在fib(14)fib(4)中计算了很多次。您可以将内存添加到您的算法中以使其更快:deffib(n,memo={})ifn==0||n==1returnnen
为了防止在迁移到生产站点期间出现数据库事务错误，我们遵循了https://github.com/LendingHome/zero_downtime_migrations中列出的建议。(具体由https://robots.thoughtbot.com/how-to-create-postgres-indexes-concurrently-in概述)，但在特别大的表上创建索引期间，即使是索引创建的“并发”方法也会锁定表并导致该表上的任何ActiveRecord创建或更新导致各自的事务失败有PG::InFailedSqlTransaction异常。下面是我们运行Rails4.2(使用Acti
我正在开发一个类似微论坛的项目，其中一个特殊用户发布一条快速(接近推文大小)的主题消息，订阅者可以用他们自己的类似大小的消息来响应。直截了当，没有任何形式的“挖掘”或投票，只是每个主题消息的响应按时间顺序排列。但预计会有很高的流量。我们想根据它们引起的响应嗡嗡声来标记主题消息，使用0到10的等级。在谷歌上搜索了一段时间的趋势算法和开源社区应用示例，到目前为止已经收集到两个有趣的引用资料，但我还没有完全理解它们:Understandingalgorithmsformeasuringtrends，关于使用基线趋势算法比较维基百科页面浏览量的讨论，在SO上。TheBritneySpearsP
我收到错误:unsupportedcipheralgorithm(AES-256-GCM)(RuntimeError)但我似乎具备所有要求:ruby版本:$ruby--versionruby2.1.2p95OpenSSL会列出gcm:$opensslenc-help2>&1|grepgcm-aes-128-ecb-aes-128-gcm-aes-128-ofb-aes-192-ecb-aes-192-gcm-aes-192-ofb-aes-256-ecb-aes-256-gcm-aes-256-ofbRuby解释器:$irb2.1.2:001>require'openssl';puts