2022.05.26更新增加SMU激活函数前言激活函数是一种添加到人工神经网络中的函数，类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。此图来自百度百科，其中stepfunction就是激活函数，它是对之前一层进行汇总后信号进行激活，传给下一层神经元。常用的激活函数有以下10个：常用的10个激活函数SigmoidTanhReLUSoftmaxLeakyReLUELUPReLUSwishSquareplusSMU1.Sigmoid如上图是Sigmoid函数的函数图像。Sigmoid函数的图像看起来像一个S形曲线。公式： f(x)=11+e−x
2022.05.26更新增加SMU激活函数前言激活函数是一种添加到人工神经网络中的函数，类似于人类大脑中基于神经元的模型，激活函数最终决定了要发射给下一个神经元的内容。此图来自百度百科，其中stepfunction就是激活函数，它是对之前一层进行汇总后信号进行激活，传给下一层神经元。常用的激活函数有以下10个：常用的10个激活函数SigmoidTanhReLUSoftmaxLeakyReLUELUPReLUSwishSquareplusSMU1.Sigmoid如上图是Sigmoid函数的函数图像。Sigmoid函数的图像看起来像一个S形曲线。公式： f(x)=11+e−x
在一些其他场景中，我们的模型输出可能是一个图像类别这样的离散值，对于这样的离散值预测问题，可以使用softmax回归的分类模型。1.1分类问题在一个简单图像分类问题中，输入图像的高和宽均是2像素，色彩为灰度，可以将图像中的4像素分别记为 ，假设训练集中图像的真实标签为狗、猫和鸡，也就是说通过这4种像素可以表示出这三种动物，这些标签对应着 。1.2softmax回归模型 softmax回归和线性回归一样也是将输入特征与权重做线性叠加，但是softmax回归的输出值个数等于标签中的类别数，对每个输入计算出输出： softmax回归是单层神经网络，每个输出的计算依赖于所有的输入 那么如何将输出
在一些其他场景中，我们的模型输出可能是一个图像类别这样的离散值，对于这样的离散值预测问题，可以使用softmax回归的分类模型。1.1分类问题在一个简单图像分类问题中，输入图像的高和宽均是2像素，色彩为灰度，可以将图像中的4像素分别记为 ，假设训练集中图像的真实标签为狗、猫和鸡，也就是说通过这4种像素可以表示出这三种动物，这些标签对应着 。1.2softmax回归模型 softmax回归和线性回归一样也是将输入特征与权重做线性叠加，但是softmax回归的输出值个数等于标签中的类别数，对每个输入计算出输出： softmax回归是单层神经网络，每个输出的计算依赖于所有的输入 那么如何将输出
这章感觉没什么需要特别记住的东西，感觉忘了回来翻一翻代码就好。3.1线性回归3.1.1线性回归的基本元素1.线性模型用符号标识的矩阵\(\boldsymbol{X}\in\mathbb{R}^{n\timesd}\)可以很方便地引用整个数据集中的\(n\)个样本。其中\(\boldsymbol{X}\)地每一行是一个样本，每一列是一种特征。对于特征集合\(\boldsymbol{X}\)，预测值\(\hat{\boldsymbol{y}}\in\mathbb{R}^n\)可以通过矩阵-向量乘法表示为\[\hat{\boldsymbol{y}}=\boldsymbol{Xw}+b\]然后求和的过
这章感觉没什么需要特别记住的东西，感觉忘了回来翻一翻代码就好。3.1线性回归3.1.1线性回归的基本元素1.线性模型用符号标识的矩阵\(\boldsymbol{X}\in\mathbb{R}^{n\timesd}\)可以很方便地引用整个数据集中的\(n\)个样本。其中\(\boldsymbol{X}\)地每一行是一个样本，每一列是一种特征。对于特征集合\(\boldsymbol{X}\)，预测值\(\hat{\boldsymbol{y}}\in\mathbb{R}^n\)可以通过矩阵-向量乘法表示为\[\hat{\boldsymbol{y}}=\boldsymbol{Xw}+b\]然后求和的过
