草庐IT

递归神经网络（RNN）

墨羽听风 2023-03-28 原文

递归神经网络（RNN）

RNN是最强大的模型之一，它使我们能够开发如分类、序列数据标注、生成文本序列（例如预测下一输入词的SwiftKey keyboard应用程序），以及将一个序列转换为另一个序列（比如从法语翻译成英语的语言翻译）等应用程序。大多数模型架构（如前馈神经网络）都没有利用数据的序列特性。例如，我们需要数据呈现出向量中每个样例的特征，如表示句子、段落或文档的所有token。前馈网络的设计只是为了一次性地查看所有特征并将它们映射到输出。让我们看一个文本示例，它显示了为什么顺序或序列特性对文本很重要。I had cleaned my car和I had my car cleaned两个英文句子，用同样的单词，但只有考虑单词的顺序时，它们才意味着不同的含义。

人类通过从左到右阅读词序列来理解文本，并构建了可以理解文本数据中所有不同内容的强大模型。RNN的工作方式有些许类似，每次只查看文本中的一个词。RNN也是一种包含某特殊层的神经网络，它并不是一次处理所有数据而是通过循环来处理数据。由于RNN可以按顺序处理数据，因此可以使用不同长度的向量并生成不同长度的输出。图6.3提供了一些不同的表示形式。


图6.3

图6.3来自关于RNN一个著名博客（http://karpathy.github.io/2015/05/21/rnn-effectiveness），其中作者Andrej Karpathy写明了如何使用Python从头开始构建RNN并将其用作序列生成器。

6.4.1　通过示例了解RNN如何使用

假设我们已经构建了一个RNN模型，并且尝试了解它提供的功能。当了解了RNN的作用后，就可以来探讨一下RNN内部发生了什么。

让我们用Thor的评论作为RNN模型的输入。我们正在看的示例文本是the action scenes were top notch in this movie... .首先将第一个单词the传递给模型；该模型生成了状态向量和输出向量两种不同的向量。状态向量在处理评论中的下一个单词时传递给模型，并生成新的状态向量。我们只考虑在最后一个序列中生成的模型的输出。图6.4概括了这个过程。


图6.4

图6.4演示了以下内容：

[if !supportLists]· [endif]RNN如何通过展开和图像来工作；

[if !supportLists]· [endif]状态如何以递归方式传递给同一模型。

到现在为止，我们只是了解了RNN的功能，但并不知道它是如何工作的。在了解其工作原理之前来看一些代码片段，它会更详细地展示我们学到的东西。仍然将RNN视为黑盒：

在上述代码中，hidden变量表示状态向量，有时也称为隐藏状态。到现在为止，我们应该知道了如何使用RNN。现在来看一下实现RNN的代码，并了解RNN内部发生的情况。以下代码包含RNN类：

除了上述代码中的单词RNN之外，其他一切听起来与在前面章节中使用的非常类似，因为PyTorch隐藏了很多反向传播的复杂度。让我们通过init函数和forward函数来了解发生了什么。

__init__函数初始化了两个线性层，一个用于计算输出，另一个用于计算状态或隐藏向量。

forward函数将input向量和hidden向量组合在一起，并将其传入两个线性层，从而生成输出向量和隐藏状态。对于output层，我们应用log_softmax函数。

initHidden函数有助于创建隐藏向量，而无需在第一次时声明调用RNN。让我们通过图6.5了解RNN类的作用。


图6.5

图6.5说明了RNN的工作原理。

神经RNNsection的

有关递归神经网络（RNN）的更多相关文章

  1. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不，不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本，提供另一个脚本，它将在其标准输入上获取请求，并在其标准输出上返回完整的响应。到目前为止一切顺利，但事实证明这真的很脆弱，因为它在第二个请求上中断并出现错误:/usr/b

  2. 网络编程套接字 - 2

    网络编程套接字网络编程基础知识理解源`IP`地址和目的`IP`地址理解源MAC地址和目的MAC地址认识端口号理解端口号和进程ID理解源端口号和目的端口号认识`TCP`协议认识`UDP`协议网络字节序socket编程接口`sockaddr``UDP`网络程序服务器端代码逻辑：需要用到的接口服务器端代码`udp`客户端代码逻辑`udp`客户端代码`TCP`网络程序服务器代码逻辑多个版本服务器单进程版本多进程版本多线程版本线程池版本服务器端代码客户端代码逻辑客户端代码TCP协议通讯流程TCP协议的客户端/服务器程序流程三次握手（建立连接）数据传输四次挥手（断开连接）TCP和UDP对比网络编程基础知识

  3. ruby - 递归地将所有数字字符串转换为 Ruby 哈希中的整数 - 2

    我有一个随机大小的散列，它可能有类似"100"的值，我想将其转换为整数。我知道我可以使用value.to_iifvalue.to_i.to_s==value来做到这一点，但我不确定我将如何在我的散列中递归地做到这一点，考虑到一个值可以是一个字符串，或一个数组(哈希或字符串)，或另一个哈希。 最佳答案 这是一个非常简单的递归实现(尽管必须同时处理数组和散列会增加一些技巧)。deffixnumifyobjifobj.respond_to?:to_i#IfwecancastittoaFixnum,doit.obj.to_ielsifobj

  4. Ruby:标准递归模式 - 2

    我经常迷上ruby​​的一件事是递归模式。例如，假设我有一个数组，它可能包含无限深度的数组作为元素。所以，例如:my_array=[1,[2,3,[4,5,[6,7]]]]我想创建一个方法，可以将数组展平为[1,2,3,4,5,6,7]。我知道.flatten可以完成这项工作，但这个问题是作为我经常遇到的递归问题的一个例子-因此我试图找到一个更可重用的解决方案。简而言之-我猜这种事情有一个标准模式，但我想不出任何特别优雅的东西。任何想法表示赞赏 最佳答案 递归是一种方法，它不依赖于语言。您在编写算法时要考虑两种情况:再次调用函数的情

  5. ruby - 检查网络文件是否存在，而不下载它？ - 2

    是否可以在不实际下载文件的情况下检查文件是否存在？我有这么大的(~40mb)文件，例如:http://mirrors.sohu.com/mysql/MySQL-6.0/MySQL-6.0.11-0.glibc23.src.rpm这与ruby​​不严格相关，但如果发件人可以设置内容长度就好了。RestClient.get"http://mirrors.sohu.com/mysql/MySQL-6.0/MySQL-6.0.11-0.glibc23.src.rpm",headers:{"Content-Length"=>100} 最佳答案

  6. ruby - 404 未找到，但可以从网络浏览器正常访问 - 2

    我在这方面尝试了很多URL，在我遇到这个特定的之前，它们似乎都很好:require'rubygems'require'nokogiri'require'open-uri'doc=Nokogiri::HTML(open("http://www.moxyst.com/fashion/men-clothing/underwear.html"))putsdoc这是结果:/Users/macbookair/.rvm/rubies/ruby-2.0.0-p481/lib/ruby/2.0.0/open-uri.rb:353:in`open_http':404NotFound(OpenURI::HT

  7. ruby - 为什么我用递归得到 "stack level too deep"？ - 2

    我有这个ruby代码:defget_sumnreturn0ifn似乎正在为999之前的值工作。当我尝试9999时，它给了我这个:stackleveltoodeep(SystemStackError)所以，我添加了这个:RubyVM::InstructionSequence.compile_option={:tailcall_optimization=>true,:trace_instruction=>false}但什么也没发生。我的ruby版本是:ruby1.9.3p392(2013-02-22revision39386)[x86_64-darwin12.2.1]我还增加了机器的堆栈大

  8. ruby - 构建网络蜘蛛时，应该使用递归吗？ - 2

    构建一个深度优先的网络蜘蛛，这意味着它将访问第一页上的所有链接，然后转到每个链接，并访问所有第二页上的链接...你应该使用递归吗？我发现这是CPU密集型的。defrecursion()linkz_on_first_page.eachdo|link|recursion(link)endendrecursion(firstpage) 最佳答案 绝对不是，由于万维网的实际性质，您很快就会遇到问题。当您访问带有主导航部分的网站时，每个页面都链接到其他页面，您就进入了一个无限循环。您可以跟踪您处理了哪些链接，但即便如此，递归循环并不真正适合万

  9. ruby-on-rails - 如何以递归方式将 YAML 文件扁平化为 JSON 对象，其中键是点分隔的字符串？ - 2

    例如，如果我有YAML文件en:questions:new:'NewQuestion'other:recent:'Recent'old:'Old'这最终会变成一个json对象，例如{'questions.new':'NewQuestion','questions.other.recent':'Recent','questions.other.old':'Old'} 最佳答案 由于问题是关于在Rails应用程序上使用YAML文件进行i18n，因此值得注意i18ngem提供了一个辅助模块I18n::Backend::Flatten完全像

  10. 深度学习12. CNN经典网络 VGG16 - 2

    深度学习12.CNN经典网络VGG16一、简介1.VGG来源2.VGG分类3.不同模型的参数数量4.3x3卷积核的好处5.关于学习率调度6.批归一化二、VGG16层分析1.层划分2.参数展开过程图解3.参数传递示例4.VGG16各层参数数量三、代码分析1.VGG16模型定义2.训练3.测试一、简介1.VGG来源VGG（VisualGeometryGroup）是一个视觉几何组在2014年提出的深度卷积神经网络架构。VGG在2014年ImageNet图像分类竞赛亚军，定位竞赛冠军；VGG网络采用连续的小卷积核（3x3）和池化层构建深度神经网络，网络深度可以达到16层或19层，其中VGG16和VGG

随机推荐