BP（Back-propagation，反向传播）神经网络是最传统的神经网络。也就是使用了Back-propagation算法的神经网络。请注意他不是时下流行的那一套深度学习。要训练深度学习level的网络你是不可以使用这种算法的。原因我们后面解释。而其实机器学习的bottleneck就是成功的突破了非常深的神经网络无法用BP算法来训练的问题。
那么反向传播的东西是什么呢？答案是：误差。就是在模拟过程中（这是一个循环，我们在训练神经网络的时候是要不断的去重复这个过程的）收集系统所产生的误差，并且返回这些误差到输出值，之后用这些误差来调整神经元的权重，这样生成一个可以模拟出原始问题的人工神经网络系统。
神经网络其实就是几层神经元，每层神经元里有几个神经元点。不同layer之间的神经元相互连接。其实就是如此：
在这，每一个神经元就是三件事：输入，判断和输出。输入层的神经元（就是那个圆形的圈，代表一个神经元或者一个神经细胞）是读入你输入的数据的。只要你有数据，这个玩意就能跑。这就好比你只要有汽油，汽车就能开是一个道理。中间则是”隐含层。你可以控制这个隐含层的层数，以及每一层里有多少个神经元或者神经细胞。当然在实际操作里为了方便我们一般都直接认为你不管用几层，每层的神经元或者神经细胞数目都是一样的。因为这样的话写代码会比较方便。
我们要把输入在这个数学结构上传递到输出，要怎么办呢？答案是，使用矩阵乘法。其实这样的思路一开始是非常简单的。 我们以这个例子来说明：
在这幅图里，我们把上一层的第i个神经元和下一层的第j个神经元之间的权重记为w（ij）。而把上一层传入的三个input，分别记为S（1），S（2）和S（3）。
因为数据肯定是在不同的层之间流动的。我们所做的就是通过一个矩阵乘法求解下一层的输出数值。
这个过程其实也非常简单。我们把输出记为O（1），O（2）和O（3）。结合权重，这个其实不就是一个高中生都可以理解的思想吗？以O（1）举例。O（1）里的输出自然有来自S1，2，3的。那么分别按照权重去乘就可以了。权重自然就是一个大于等于零的实数嘛。
O(1)=S(1)*w（11）+S(2)*w(21)+S(3)*w(31)
类似的我们可以求解出O(2)和O（3）。其实答案也很简单：
O(2)=S(1)*w（12）+S(2)*w(22)+S(3)*w(32)
O(3)=S(1)*w（13）+S(2)*w(23)+S(3)*w(33)
写到这里，熟悉矩阵乘法的同学肯定要恍然大悟了。没错，这就是一个矩阵的乘法！最基础的那种。写成矩阵他应该是什么样呢？
其实答案便是：
我们其实用这种方法，自然可以一层一层的把最左边输入的数据送到最右边来。我们自然可以得到一个结果。但是这个结果有可能是错的吧！所以怎么办呢？我们用真实的结果去和这个结果去比如求差，自然就可以把误差求解出来了。同样的道理，我们可以把误差按照矩阵乘法一路返回。而且在这个过程中，每个神经元和神经线自然可以得到一些”信息“。我们可以用这些信息来修正神经网络，其实也就是给所有的边去赋予不同的权重。
输出O1,O2,O3与真实值T1，T2,T3自然会有一定的误差，而输入S1,S2,S3是不变的，因此要减小误差损失，就要调节权重矩阵W。
如法炮制。在你有误差E（1），E（2），E（3）的时候，自然可以用这些误差返回上一层，得到上一层应该被返回的误差。其实也是一个矩阵乘法的内容。
其实这就是我们使用了人工神经网络来模拟学习的过程。理论上，这个算法可以处理世界上的任何问题。无论是股票交易还是生物信息，无论是飞机上天还是潜艇下水。当然了，工程就是另一回事了。
那么这些权重是如何被求解出来的呢？答案便是：微积分。
首先说明，这里我们使用Sigmoid函数
作为激活函数，其作用详见这篇文章。
整体框架如下：
在我们的获得预测结果后，我们通过反向传播对w（权重）和b（偏置：相当于y=ax+b中的b）进行梯度调整，从而得到最优的w和b。最后在应用调整后的模型进行测试
[注]：S(a2)意为对a2进行Sigmoid函数激活，其余同理。
最终得到前向传播结果z3。他与真实值T有一定的误差。
y*即为z3，y为真实值T，两者相减平方除以2求均方误差E，通过梯度下降对其中的参数b1，w1，b2，w2进行调整。（不明白梯度下降的参考此文章）
1.对b1进行求导：
f'为sigmoid的导数 。
2.对b2进行求导：
3.对w1进行求导：
4.对w2进行求导：
以b1为例进行梯度下降求最优解：
（
为步长，
为学习率）
同理可对b2，w1，w2进行调整，逐步找到最优解。
当迭代次数超过一定数值，即迭代次数足够大或误差小于某个值时，便停止迭代，此时的权重矩阵w和偏置b即为最优解。
BP神经网络就是通过前向传播得到误差，反向传播调整误差，再前向传播，再反向传播一轮一轮得到最优解的。
我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b
网络编程套接字网络编程基础知识理解源`IP`地址和目的`IP`地址理解源MAC地址和目的MAC地址认识端口号理解端口号和进程ID理解源端口号和目的端口号认识`TCP`协议认识`UDP`协议网络字节序socket编程接口`sockaddr``UDP`网络程序服务器端代码逻辑：需要用到的接口服务器端代码`udp`客户端代码逻辑`udp`客户端代码`TCP`网络程序服务器代码逻辑多个版本服务器单进程版本多进程版本多线程版本线程池版本服务器端代码客户端代码逻辑客户端代码TCP协议通讯流程TCP协议的客户端/服务器程序流程三次握手（建立连接）数据传输四次挥手（断开连接）TCP和UDP对比网络编程基础知识
是否可以在不实际下载文件的情况下检查文件是否存在？我有这么大的(~40mb)文件，例如:http://mirrors.sohu.com/mysql/MySQL-6.0/MySQL-6.0.11-0.glibc23.src.rpm这与ruby不严格相关，但如果发件人可以设置内容长度就好了。RestClient.get"http://mirrors.sohu.com/mysql/MySQL-6.0/MySQL-6.0.11-0.glibc23.src.rpm",headers:{"Content-Length"=>100} 最佳答案
我在这方面尝试了很多URL，在我遇到这个特定的之前，它们似乎都很好:require'rubygems'require'nokogiri'require'open-uri'doc=Nokogiri::HTML(open("http://www.moxyst.com/fashion/men-clothing/underwear.html"))putsdoc这是结果:/Users/macbookair/.rvm/rubies/ruby-2.0.0-p481/lib/ruby/2.0.0/open-uri.rb:353:in`open_http':404NotFound(OpenURI::HT
深度学习12.CNN经典网络VGG16一、简介1.VGG来源2.VGG分类3.不同模型的参数数量4.3x3卷积核的好处5.关于学习率调度6.批归一化二、VGG16层分析1.层划分2.参数展开过程图解3.参数传递示例4.VGG16各层参数数量三、代码分析1.VGG16模型定义2.训练3.测试一、简介1.VGG来源VGG（VisualGeometryGroup）是一个视觉几何组在2014年提出的深度卷积神经网络架构。VGG在2014年ImageNet图像分类竞赛亚军，定位竞赛冠军；VGG网络采用连续的小卷积核（3x3）和池化层构建深度神经网络，网络深度可以达到16层或19层，其中VGG16和VGG
（本文是网络的宏观的概念铺垫）目录计算机网络背景网络发展认识"协议"网络协议初识协议分层OSI七层模型TCP/IP五层(或四层)模型报头以太网碰撞路由器IP地址和MAC地址IP地址与MAC地址总结IP地址MAC地址计算机网络背景网络发展 是最开始先有的计算机，计算机后来因为多项技术的水平升高，逐渐的计算机变的小型化、高效化。后来因为计算机其本身的计算能力比较的快速：独立模式：计算机之间相互独立。 如：有三个人，每个人做的不同的事物，但是是需要协作的完成。 而这三个人所做的事是需要进行协作的，然而刚开始因为每一台计算机之间都是互相独立的。所以前面的人处理完了就需要将数据
安全产品安全网关类防火墙Firewall防火墙防火墙主要用于边界安全防护的权限控制和安全域的划分。防火墙•信息安全的防护系统，依照特定的规则，允许或是限制传输的数据通过。防火墙是一个由软件和硬件设备组合而成，在内外网之间、专网与公网之间的界面上构成的保护屏障。下一代防火墙•下一代防火墙，NextGenerationFirewall，简称NGFirewall，是一款可以全面应对应用层威胁的高性能防火墙，提供网络层应用层一体化安全防护。生产厂家•联想网御、CheckPoint、深信服、网康、天融信、华为、H3C等防火墙部署部署于内、外网编辑额，用于权限访问控制和安全域划分。UTM统一威胁管理（Un
Linux操作系统——网络配置与SSH远程安装完VMware与系统后，需要进行网络配置。第一个目标为进行SSH连接，可以从本机到VMware进行文件传送，首先需要进行网络配置。1.下载远程软件首先需要先下载安装一款远程软件：FinalShell或者xhell7FinalShellxhell7FinalShell下载：Windows下载http://www.hostbuf.com/downloads/finalshell_install.exemacOS下载http://www.hostbuf.com/downloads/finalshell_install.pkg2.配置CentOS网络安装好
在神经网络方面，我完全是个初学者。我整天都在与ruby-fann和ai4r搏斗，不幸的是我没有任何东西可以展示，所以我想我会来到StackOverflow并询问这里的知识渊博的人。我有一组样本——每天都有一个数据点，但它们不符合我能够找出的任何明确模式(我尝试了几次回归)。不过，我认为看看是否有任何方法可以仅从日期预测future的数据会很好，而且我认为神经网络将是生成希望表达这种关系的函数的好方法.日期是DateTime对象，数据点是十进制数，例如7.68。我一直在将DateTime对象转换为float，然后除以10,000,000,000得到一个介于0和1之间的数字，我一直在将
我有一个nokigiri网络抓取工具，它发布到我试图发布到heroku的数据库。我有一个sinatra应用程序前端，我想从数据库中获取它。我是Heroku和Web开发的新手，不知道处理此类问题的最佳方法。我是否必须将上传到数据库的网络爬虫脚本放在sinatra路由下(如mywebsite.com/scraper)，并让它变得如此模糊以至于没有人访问它？最后，我想让sinatra部分成为一个从数据库中提取的restapi。感谢大家的参与 最佳答案 您可以采用两种方法。第一个是通过控制台使用herokurunYOURCMD运行scrap
