草庐IT

深度学习知识点简单概述【更新中】

什么都干的派森 2023-04-12 原文

文章目录

人工神经网络的定义

人工神经网络(英语:Artificial Neural Network，ANN)，简称神经网络(Neural Network,NN）或类神经网络，是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑）的结构和功能的数学模型，用于对函数进行估计或近似。

ps：和其他机器学习方法一样，神经网络已经被用于解决各种各样的问题，例如机器视觉、自然语言处理 和 多模态。这些问题都是很难被传统基于规则的编程所解决的，也是神经网络大展宏图的地方

神经元的定义

  1. 在生物神经网络
    每个神经元与其他神经元相连，当它"兴奋"时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位;如果某神经元的电位超过了一个阈值”，那么它就会被激活，即“兴奋"起来，向其他神经元发送化学物质。
  2. 人工神经网络
    1943年，McCulloch和Pitts将上述情形抽象为上图所示的简单模型，这就是一直沿用至今的M-P神经元模型。把许多这样的神经元按一定的层次结构连接起来，就得到了人工神经网络。

神经元的功能

输入向量X进来后，与权向量W的转置进行內积操作，得到一个标量，再加上偏置项b，最后经过一个非线性的激活函数f，得到一个输出标量y。

用公式表示为：
y = f ( W T X + b ) y=f(W^TX+b) y=f(WTX+b)
ps：其中 W T X W^TX WTX（W转置后与X做矩阵乘法） 也可以写成 W ⋅ X W·X W⋅X（W与X做內积/点积），但不要写成 W X WX WX

用图表示为：

w1
w2
w3
...
加入偏置项b
经过激活函数f
x1
SUM
x2
x3
...
计算结果
y

感知机

  1. 单个神经元也可以称作感知机
  2. 感知机是二分类的线性模型，其输入是实例的特征向量，输出的是事例的类别，分别是+1和-1，属于判别模型。
  3. 假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练数据集正实例点和负实例点完全正确分开的分离超平面。如果是非线性可分的数据，则最后无法获得超平面。

ps：

  1. 感知机是一个有监督的学习算法
  2. 感知机是1957年，由Rosenblatt提出会，是神经网络和支持向量机的基础
  3. 感知机无法解决异或（非线性）问题，所有的线性模型都无法解决异或问题
  4. 超平面：超平面可以分割高维空间，三维空间由一个个平面组成，多维空间由一个个的超平面组成

单层神经网络

是最基本的神经元网络形式，由有限个神经元构成，所有神经元的输入向量都是同一个向量。由于每一个神经元都会产生一个标量结果，所以单层神经元的输出是一个向量，向量的维数等于神经元的数目。
ps：单层神经网络相当于一排感知机

多层神经网络（多层感知机MLP）

多层神经网络就是由单层神经网络进行叠加之后得到的，所以就形成了层的概念，常见的多层神经网络有如下结构：

  1. 输入层（Input layer)，众多神经元（Neuron)接受大量输入消息。输入的消息称为输入向量。
  2. 隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和链接组成的各个层面。隐层可以有一层或多层。隐层的节点（神经元）数目不定，但数目越多神经网络的非线性越显著，从而神经网络的稳健性（robustness）更显著。
  3. 输出层（Output layer)，消息在神经元链接中传输、分析、权衡，形成输出结果。输出的消息称为输出向量。

ps：

  1. 由于当前一层的神经元与上一层的神经元每个都相互连接，因此也称为全连接神经网络，这一层叫全连接层
  2. 网络层数越深，逼近效果越好，训练成本越高，但是很多问题不需要特别复杂的网络，因此网络深度和宽度可以视情况而定（玄学）
  3. 每层传递时实际上是经过了一个矩阵乘法，因此速度很快（宽 m 层的神经元向宽 n 层的神经元传递时会经过一个mxn 的 W 权重矩阵）

激活函数

虽然多层神经网络可以处理异或（非线性）问题，但是却不是因为层数多的缘故，而是因为每个神经元后接的那个非线性的激活函数，可以想象，如果不使用激活函数，那么无论网络有多少层，每一层节点的输入都是上层输出的线性函数，最终输出都是输入的线性组合，网络的逼近能力就相当有限了。而引入非线性激活函数后网络几乎可以逼近任意函数
同时，增加激活函数还有三个好处：

  1. 提高模型鲁棒性（稳健性）
  2. 缓解梯度消失问题（缓解但不能解决）
  3. 加速模型收敛

常见的激活函数如下

其中最常见的是 ReLU 和 Sigmoid
但是 Sigmoid 现在已经不怎么用了，因为这个激活函数 运算 速度慢 并且 会造成 梯度消失和梯度爆炸

ps：

  1. Sigmoid 将负无穷到正无穷之间的数映射到 0-1 之间（越接近无穷值变化越缓慢，二值化，运算速度慢）
  2. ReLU 将负无穷到 0 之间的数映射为 0，0 到正无穷之间的数映射为原值（丢弃部分噪声，运算速度快）

线性函数与非线性函数的界定

线性函数不是 y = ax+b 这么简单，需要满足两点：

  1. f ( x 1 + x 2 ) = y 1 + y 2 f(x_1+x_2) = y_1+y_2 f(x1​+x2​)=y1​+y2​
  2. f ( k x ) = k y f(kx)=ky f(kx)=ky

满足这两点即为线性函数，否则为非线性函数

张量（Tensor）

  1. 零阶张量：常数（scaler）
  2. 一阶张量：向量（vector）
  3. 二阶张量：矩阵（matrix）
  4. 三阶及以上张量统称为 N阶张量

P5_todo

知识点概述quotltgt

有关深度学习知识点简单概述【更新中】的更多相关文章

  1. ruby-on-rails - 如何验证 update_all 是否实际在 Rails 中更新 - 2

    给定这段代码defcreate@upgrades=User.update_all(["role=?","upgraded"],:id=>params[:upgrade])redirect_toadmin_upgrades_path,:notice=>"Successfullyupgradeduser."end我如何在该操作中实际验证它们是否已保存或未重定向到适当的页面和消息？ 最佳答案 在Rails3中，update_all不返回任何有意义的信息，除了已更新的记录数(这可能取决于您的DBMS是否返回该信息)。http://ar.ru

  2. ruby-on-rails - 使用 rails 4 设计而不更新用户 - 2

    我将应用程序升级到Rails4，一切正常。我可以登录并转到我的编辑页面。也更新了观点。使用标准View时，用户会更新。但是当我添加例如字段:name时，它​​不会在表单中更新。使用devise3.1.1和gem'protected_attributes'我需要在设备或数据库上运行某种更新命令吗？我也搜索过这个地方，找到了许多不同的解决方案，但没有一个会更新我的用户字段。我没有添加任何自定义字段。 最佳答案 如果您想允许额外的参数，您可以在ApplicationController中使用beforefilter，因为Rails4将参数

  3. ruby - 简单获取法拉第超时 - 2

    有没有办法在这个简单的get方法中添加超时选项？我正在使用法拉第3.3。Faraday.get(url)四处寻找，我只能先发起连接后应用超时选项，然后应用超时选项。或者有什么简单的方法？这就是我现在正在做的:conn=Faraday.newresponse=conn.getdo|req|req.urlurlreq.options.timeout=2#2secondsend 最佳答案 试试这个:conn=Faraday.newdo|conn|conn.options.timeout=20endresponse=conn.get(url

  4. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b

  5. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章？ - 2

    我意识到这可能是一个非常基本的问题，但我现在已经花了几天时间回过头来解决这个问题，但出于某种原因，Google就是没有帮助我。(我认为部分问题在于我是一个初学者，我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI，但我仍然停留在这个问题上.我找到了一些关于多态关系的信息，但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  6. ruby - 使用 Ruby 通过 Outlook 发送消息的最简单方法是什么？ - 2

    我的工作要求我为某些测试自动生成电子邮件。我一直在四处寻找，但未能找到可以快速实现的合理解决方案。它需要在outlook而不是其他邮件服务器中，因为我们有一些奇怪的身份验证规则，我们需要保存草稿而不是仅仅发送邮件的选项。显然win32ole可以做到这一点，但我找不到任何相当简单的例子。 最佳答案 假设存储了Outlook凭据并且您设置为自动登录到Outlook，WIN32OLE可以很好地完成此操作:require'win32ole'outlook=WIN32OLE.new('Outlook.Application')message=

  7. postman——集合——执行集合——测试脚本——pm对象简单示例02 - 2

    //1.验证返回状态码是否是200pm.test("Statuscodeis200",function(){pm.response.to.have.status(200);});//2.验证返回body内是否含有某个值pm.test("Bodymatchesstring",function(){pm.expect(pm.response.text()).to.include("string_you_want_to_search");});//3.验证某个返回值是否是100pm.test("Yourtestname",function(){varjsonData=pm.response.json

  8. Qt Designer的简单使用 - 2

    在前面两节的例子中，主界面窗口的尺寸和标签控件显示的矩形区域等，都是用C++代码编写的。窗口和控件的尺寸都是预估的，控件如果多起来，那就不好估计每个控件合适的位置和大小了。用C++代码编写图形界面的问题就是不直观，因此Qt项目开发了专门的可视化图形界面编辑器——QtDesigner（Qt设计师）。通过QtDesigner就可以很方便地创建图形界面文件*.ui，然后将ui文件应用到源代码里面，做到“所见即所得”，大大方便了图形界面的设计。本节就演示一下QtDesigner的简单使用，学习拖拽控件和设置控件属性，并将ui文件应用到Qt程序代码里。使用QtDesigner设计界面在开始菜单中找到「Q

  9. LC滤波器设计学习笔记（一）滤波电路入门 - 2

    目录前言滤波电路科普主要分类实际情况单位的概念常用评价参数函数型滤波器简单分析滤波电路构成低通滤波器RC低通滤波器RL低通滤波器高通滤波器RC高通滤波器RL高通滤波器部分摘自《LC滤波器设计与制作》，侵权删。前言最近需要学习放大电路和滤波电路，但是由于只在之前做音乐频谱分析仪的时候简单了解过一点点运放，所以也是相当从零开始学习了。滤波电路科普主要分类滤波器：主要是从不同频率的成分中提取出特定频率的信号。有源滤波器：由RC元件与运算放大器组成的滤波器。可滤除某一次或多次谐波，最普通易于采用的无源滤波器结构是将电感与电容串联，可对主要次谐波（3、5、7）构成低阻抗旁路。无源滤波器：无源滤波器，又称

  10. CAN协议的学习与理解 - 2

    最近在学习CAN，记录一下，也供大家参考交流。推荐几个我觉得很好的CAN学习，本文也是在看了他们的好文之后做的笔记首先是瑞萨的CAN入门，真的通透；秀！靠这篇我竟然2天理解了CAN协议！实战STM32F4CAN！原文链接：https://blog.csdn.net/XiaoXiaoPengBo/article/details/116206252CAN详解（小白教程）原文链接：https://blog.csdn.net/xwwwj/article/details/105372234一篇易懂的CAN通讯协议指南1一篇易懂的CAN通讯协议指南1-知乎(zhihu.com)视频推荐CAN总线个人知识总

随机推荐