目录一、激活函数定义二、梯度消失与梯度爆炸 1.什么是梯度消失与梯度爆炸2.梯度消失的根本原因3.如何解决梯度消失与梯度爆炸问题 三、常用激活函数1.Sigmoid2.Tanh3.ReLU4.LeakyReLU5.ELU6.softmax7.Swish一、激活函数定义 激活函数(Activationfunctions)对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的inputs通过加权，求和后，还被作用了一个函数f，这个函数f就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层
