上图是一个感知机模型，有若干个输入和一个输出（输出的结果只可以是1或-1）
输入和输出有一个线性关系：
神经元激活函数：（二分类）
由于这个简单的感知机只可以进行二分类，则对于感知机进行升级，升级如下：
1）加入隐藏层，从而增加模型的表达能力，同时也增加了模型的复杂度
2）输出层的神经元不止一个输出，可以有多个输出
3）扩展了激活函数，从感知机的激活函数sign（z）---->sigmoid，之后又出现了tanX，softmax，ReLu等，通过不同的激活函数提高了神经网络的表达能力
神经网络是基于感知机的扩展，深度神经网络就是有很多隐藏层的神经网络，所以深度神经网络也叫做多层感知机。
深度神经网络的内部神经网络有3层，第一层输入，最后一层输出，其余中间都是隐藏层，层与层之间全连接。在局部的小模型来讲和感知机是一样的，都是线性关系+激活函数，即
Layer 1: Layer 2:
Z[1] = W[1]·X + b[1] Z[2] = W[2]·A[1] + b[2]
A[1] = σ(Z[1]) A[2] = σ(Z[2])
X其实就是A[0]，所以不难看出：
Layer i:
Z[i] = W[i]·A[i-1] + b[i]
A[i] = σ(Z[i])
（注：σ是sigmoid函数）
因此不管我们神经网络有几层，都是将上面过程的重复
系数w的定义：
如下图：这里的w243指的是第二层的第四个神经元到第三层的第二个神经元
偏置b的定义：
如下图：b23表示第二层的第三个神经元，a13表示第三层的第一个神经元
核心：利用上一层的输入计算下一层的输出
以上是代数法，其实一个一个表示输出很复杂，所以就有了简化版的写法，就是矩阵法。
假设第l−1层共有m个神经元，而第l层共有n个神经元，则第l层的线性系数w组成了一个n×m的矩阵Wl，第l层的偏倚b组成了一个 n×1 的向量 bl ，第l-1层的输出 a 组成了一个 m×1 的向量 a（l−1），第l层的未激活前线性输出z组成了一个 n×1 的向量 zl ，第l层的输出 a 组成了一个 n×1 的向量 al 。
利用若干个权重系数矩阵w，偏置向量b来和输入值向量x，进行一系列的线性运算和激活运算，从输入层开始，一层一层向后计算，运算到输出层得到输出结果
假设有m个训练样本 {(x1,y1),(x2,y2),...,(xm,ym)} ，xi为输入向量，其特征维度是n_in；y为输出向量，其特征向量为n_out。用m个样本训练出一个模型。当有一个新的测试样本（Xtest，Y？）的时候，预测Ytest的输出。
我们使用深度神经网络模型，使输入层有n_in个神经元，输出层有n_out个神经元，再加上含有若干个神经元的一些隐藏层。现在的目标就是要找到所有隐藏层和输出层对应的线性系数矩阵w和偏置向量b，让所有训练样本输入计算出的结果（输出）尽可能的接近或等于样本的输出。通俗来讲就是你的训练集已经放进了一个完美的标注Ym，神经网络在训练的时候会也会训练出一个标准，用神经网络那个标准与Ym相比对，会产生一定的差距。损失函数就是Ym结果与神经网络训练出的模型具体差多少的定量表达。一般损失函数比较两个模型差距多少的三种思路是：最小二乘法，极大似然估计法，交叉熵法。对损失函数进行优化求最小化的极值，对应的一系列w和b即为最终的合适的参数。而这个损失函数的优化极值求解过程最常见的一般是通过梯度下降法来步步迭代。
在进行反向传播算法前，我们要选择一个损失函数，来度量训练样本计算出的输出与真实训练样本输出的损失。深度神经网络可以选择的损失函数很多，要选择一个损失函数来用梯度下降法迭代修改每一步的w和b。具体的思路很复杂 ，我暂时还不能很好的理解，请读者见谅！
输入：总层数L，各隐藏层与输出层的神经元个数，激活函数，损失函数，迭代步长a，最大迭代次数max与停止迭代阈值，输入的m个训练样本
输出：各隐藏层与输出层的线性关系系数矩阵w和偏置向量b
在讲反向传播算法的时候，我们用均方差损失函数和sigmoid激活函数做了实际例子，但是其实这是有问题的。
看上图，如果z取值越来越大，函数曲线变得平缓，意味着导数 σ′(z) 也越来越小。而在反向传播过程中，每一层向前递推都要乘以导数 σ′(z)得到梯度变化值sigmoid这个曲线就意味着在大多数时候梯度的变化值很小，导致算法收敛速度较慢。那怎么解决这个问题呢？
损失函数3种：最小二乘法，极大似然估计法，交叉熵法
激活函数：sigmoid，tanX，softmax，ReLu...
根据经验，应该两两搭配换着；来试一下，哪个效果好选哪个
我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b
网络编程套接字网络编程基础知识理解源`IP`地址和目的`IP`地址理解源MAC地址和目的MAC地址认识端口号理解端口号和进程ID理解源端口号和目的端口号认识`TCP`协议认识`UDP`协议网络字节序socket编程接口`sockaddr``UDP`网络程序服务器端代码逻辑：需要用到的接口服务器端代码`udp`客户端代码逻辑`udp`客户端代码`TCP`网络程序服务器代码逻辑多个版本服务器单进程版本多进程版本多线程版本线程池版本服务器端代码客户端代码逻辑客户端代码TCP协议通讯流程TCP协议的客户端/服务器程序流程三次握手（建立连接）数据传输四次挥手（断开连接）TCP和UDP对比网络编程基础知识
深度学习部署：Windows安装pycocotools报错解决方法1.pycocotools库的简介2.pycocotools安装的坑3.解决办法更多Ai资讯：公主号AiCharm本系列是作者在跑一些深度学习实例时，遇到的各种各样的问题及解决办法，希望能够帮助到大家。ERROR:Commanderroredoutwithexitstatus1:'D:\Anaconda3\python.exe'-u-c'importsys,setuptools,tokenize;sys.argv[0]='"'"'C:\\Users\\46653\\AppData\\Local\\Temp\\pip-instal
是否可以在不实际下载文件的情况下检查文件是否存在？我有这么大的(~40mb)文件，例如:http://mirrors.sohu.com/mysql/MySQL-6.0/MySQL-6.0.11-0.glibc23.src.rpm这与ruby不严格相关，但如果发件人可以设置内容长度就好了。RestClient.get"http://mirrors.sohu.com/mysql/MySQL-6.0/MySQL-6.0.11-0.glibc23.src.rpm",headers:{"Content-Length"=>100} 最佳答案
我在这方面尝试了很多URL，在我遇到这个特定的之前，它们似乎都很好:require'rubygems'require'nokogiri'require'open-uri'doc=Nokogiri::HTML(open("http://www.moxyst.com/fashion/men-clothing/underwear.html"))putsdoc这是结果:/Users/macbookair/.rvm/rubies/ruby-2.0.0-p481/lib/ruby/2.0.0/open-uri.rb:353:in`open_http':404NotFound(OpenURI::HT
深度学习12.CNN经典网络VGG16一、简介1.VGG来源2.VGG分类3.不同模型的参数数量4.3x3卷积核的好处5.关于学习率调度6.批归一化二、VGG16层分析1.层划分2.参数展开过程图解3.参数传递示例4.VGG16各层参数数量三、代码分析1.VGG16模型定义2.训练3.测试一、简介1.VGG来源VGG（VisualGeometryGroup）是一个视觉几何组在2014年提出的深度卷积神经网络架构。VGG在2014年ImageNet图像分类竞赛亚军，定位竞赛冠军；VGG网络采用连续的小卷积核（3x3）和池化层构建深度神经网络，网络深度可以达到16层或19层，其中VGG16和VGG
（本文是网络的宏观的概念铺垫）目录计算机网络背景网络发展认识"协议"网络协议初识协议分层OSI七层模型TCP/IP五层(或四层)模型报头以太网碰撞路由器IP地址和MAC地址IP地址与MAC地址总结IP地址MAC地址计算机网络背景网络发展 是最开始先有的计算机，计算机后来因为多项技术的水平升高，逐渐的计算机变的小型化、高效化。后来因为计算机其本身的计算能力比较的快速：独立模式：计算机之间相互独立。 如：有三个人，每个人做的不同的事物，但是是需要协作的完成。 而这三个人所做的事是需要进行协作的，然而刚开始因为每一台计算机之间都是互相独立的。所以前面的人处理完了就需要将数据
安全产品安全网关类防火墙Firewall防火墙防火墙主要用于边界安全防护的权限控制和安全域的划分。防火墙•信息安全的防护系统，依照特定的规则，允许或是限制传输的数据通过。防火墙是一个由软件和硬件设备组合而成，在内外网之间、专网与公网之间的界面上构成的保护屏障。下一代防火墙•下一代防火墙，NextGenerationFirewall，简称NGFirewall，是一款可以全面应对应用层威胁的高性能防火墙，提供网络层应用层一体化安全防护。生产厂家•联想网御、CheckPoint、深信服、网康、天融信、华为、H3C等防火墙部署部署于内、外网编辑额，用于权限访问控制和安全域划分。UTM统一威胁管理（Un
Linux操作系统——网络配置与SSH远程安装完VMware与系统后，需要进行网络配置。第一个目标为进行SSH连接，可以从本机到VMware进行文件传送，首先需要进行网络配置。1.下载远程软件首先需要先下载安装一款远程软件：FinalShell或者xhell7FinalShellxhell7FinalShell下载：Windows下载http://www.hostbuf.com/downloads/finalshell_install.exemacOS下载http://www.hostbuf.com/downloads/finalshell_install.pkg2.配置CentOS网络安装好
在神经网络方面，我完全是个初学者。我整天都在与ruby-fann和ai4r搏斗，不幸的是我没有任何东西可以展示，所以我想我会来到StackOverflow并询问这里的知识渊博的人。我有一组样本——每天都有一个数据点，但它们不符合我能够找出的任何明确模式(我尝试了几次回归)。不过，我认为看看是否有任何方法可以仅从日期预测future的数据会很好，而且我认为神经网络将是生成希望表达这种关系的函数的好方法.日期是DateTime对象，数据点是十进制数，例如7.68。我一直在将DateTime对象转换为float，然后除以10,000,000,000得到一个介于0和1之间的数字，我一直在将
