草庐IT

全面了解大语言模型，这有一份阅读清单

机器之心 2023-03-28 原文
大型语言模型已经引起了公众的注意，短短五年内，Transforme等模型几乎完全改变了自然语言处理领域。此外，它们还开始在计算机视觉和计算生物学等领域引发革命。

鉴于Transformers对每个人的研究进程都有如此大的影响，本文将为大家介绍一个简短的阅读清单，供机器学习研究人员和从业者入门使用。

下面的列表主要是按时间顺序展开的，主要是一些学术研究论文。当然，还有许多其他有用的资源。例如：

  • Jay Alammar撰写的《The Illustrated Transformer》
  • Lilian Weng撰写的《The Transformer Family》
  • Xavier Amatriain撰写的《Transformer models: an introduction and catalog — 2023 Edition》
  • Andrej Karpathy写的nanoGPT库

对主要架构和任务的理解

 如果你是Transformers、大型语言模型新手，那么这几篇文章最适合你。 

论文1：《Neural Machine Translation by Jointly Learning to Align and Translate》​

论文地址：https://arxiv.org/pdf/1409.0473.pdf

本文引入了一种循环神经网络（RNN）注意力机制，提高了模型远程序列建模能力。这使得RNN能够更准确地翻译较长的句子——这也是后来开发原始Transformer架构的动机。 

图源: https://arxiv.org/abs/1409.0473

论文2：《Attention Is All You Need》​

论文地址：https://arxiv.org/abs/1706.03762

本文介绍了由编码器和解码器组成的原始Transformer架构，这些部分将在以后作为单独模块进行相关介绍。此外，本文还介绍了缩放点积注意力机制、多头注意力块和位置输入编码等概念，这些概念仍然是现代Transformer的基础。

图源：https://arxiv.org/abs/1706.03762

论文3：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》​

论文地址：https://arxiv.org/abs/1810.04805

大型语言模型研究遵循最初的Transformer架构，然后开始向两个方向延伸：用于预测建模任务（如文本分类）的Transformer和用于生成建模任务（如翻译、摘要和其他形式的文本创建）的Transformer 。 

BERT论文介绍了掩码语言建模原始概念，如果你对这个研究分支感兴趣，那么可以跟进RoBERTa，其简化了预训练目标。 

图源：https://arxiv.org/abs/1810.04805

论文4：《Improving Language Understanding by Generative Pre-Training》

论文地址：https://www.semanticscholar.org/paper/Improving-Language-Understanding-by-Generative-Radford-Narasimhan/cd18800a0fe0b668a1cc19f2ec95b5003d0a5035

最初的GPT论文介绍了流行的解码器风格的架构和通过下一个单词预测进行预训练。BERT由于其掩码语言模型预训练目标，可以被认为是一个双向Transformer，而GPT是一个单向自回归模型。虽然GPT嵌入也可以用于分类，但GPT方法是当今最有影响力的LLMs（如ChatGPT）的核心。 

如果你对这个研究分支感兴趣，那么可以跟进GPT-2和GPT-3的论文。此外，本文将在后面单独介绍InstructGPT方法。 

论文5：《BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension》

论文地址 https://arxiv.org/abs/1910.13461.

如上所述， BERT型编码器风格的LLM通常是预测建模任务的首选，而GPT型解码器风格的LLM更擅长生成文本。为了两全其美，上面的BART论文结合了编码器和解码器部分。

扩展定律与效率提升

如果你想了解更多关于提高Transformer效率的技术，可以参考以下论文

  • 论文1：《A Survey on Efficient Training of Transformers》​
  • 论文地址：https://arxiv.org/abs/2302.01107​

  • 论文2：《FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness》
  • 论文地址：​https://arxiv.org/abs/2205.14135​

  • 论文3：《Cramming: Training a Language Model on a Single GPU in One Day》
  • 论文地址：https://arxiv.org/abs/2212.14034

  • 论文4：《Training Compute-Optimal Large Language Models》
  • 论文地址：https://arxiv.org/abs/2203.15556
此外，还有论文《Training Compute-Optimal Large Language Models》

论文地址：https://arxiv.org/abs/2203.15556

本文介绍了700亿参数的Chinchilla模型，该模型在生成建模任务上优于流行的1750亿参数的GPT-3模型。然而，它的主要点睛之处在于，当代大型语言模型训练严重不足。

本文定义了用于大型语言模型训练的线性scaling law。例如，虽然Chinchilla的大小只有GPT-3的一半，但它的表现优于GPT-3，因为它是在1.4万亿（而不是3000亿）token上进行训练的。换句话说，训练token的数量和模型大小一样重要。

对齐——将大型语言模型朝着预期的目标和兴趣引导

近年来出现了许多相对强大的大型语言模型，它们可以生成真实的文本（例如GPT-3和Chinchilla）。就常用的预训练范式而言，目前似乎已经达到了一个上限。

为了使语言模型更能帮助到人类，减少错误信息和不良语言，研究人员设计了额外的训练范式来微调预训练的基础模型，包括如下论文。

  • 论文1：《Training Language Models to Follow Instructions with Human Feedback》
  • 论文地址：https://arxiv.org/abs/2203.02155
在这篇所谓的InstructGPT论文中，研究人员使用了RLHF（Reinforcement Learning from Human Feedback）。他们从预训练的GPT-3基础模型开始，并使用监督学习对人类生成的提示响应对进行进一步微调（步骤1）。接下来，他们要求人类对模型输出进行排序以训练奖励模型（步骤2）。最后，他们使用奖励模型通过近端策略优化（步骤3）使用强化学习来更新预训练和微调的GPT-3模型。

顺便说一句，这篇论文也被称为描述ChatGPT背后思想的论文——根据最近的传言，ChatGPT是InstructGPT的扩展版本，它在更大的数据集上进行了微调。

  • 论文2：《Constitutional AI: Harmlessness from AI Feedback》
  • 论文地址：https://arxiv.org/abs/2212.08073
在这篇论文中，研究人员进一步推进了对齐的想法，提出了一种创建「harmless」的AI系统的训练机制。研究人员提出了一种基于规则列表（由人类提供）的自训练机制，而不是直接由人类监督。与上面提到的InstructGPT论文类似，所提出的方法使用了强化学习方法。

总结​

本文对上方表单的排列尽量保持简洁美观，建议重点关注前10篇论文，以了解当代大型语言模型背后的设计、局限和演变。

如果想深入阅读，建议参考上述论文中的参考文献。或者，这里有一些额外的资源，供读者进一步研究：

GPT的开源替代方案

  • 论文1：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》
  • 论文地址：https://arxiv.org/abs/2211.05100

  • 论文2：《OPT: Open Pre-trained Transformer Language Models》
  • 论文地址：https://arxiv.org/abs/2205.01068
ChatGPT的替代方案

  • 论文1《LaMDA: Language Models for Dialog Applications》
  • 论文地址：https://arxiv.org/abs/2201.08239

  • 论文2：《Improving alignment of dialogue agents via targeted human judgements》
  • 论文地址：https://arxiv.org/abs/2209.14375

  • 论文3：《BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage》
  • 论文地址：https://arxiv.org/abs/2208.03188
计算生物学中的大型语言模型

  • 论文1：《 ProtTrans: Towards Cracking the Language of Life’s Code Through Self-Supervised Learning 》
  • 论文地址：https://arxiv.org/abs/2007.06225

  • 论文2：《Highly accurate protein structure prediction with AlphaFold》
  • 论文地址：https://www.nature.com/articles/s41586-021-03819-2

  • 论文3：《Large Language Models Generate Functional Protein Sequences Across Diverse Families》
  • 论文地址：https://www.nature.com/articles/s41587-022-01618-2
全面了解spanstylefont-size人工智能新闻$模型AI

有关全面了解大语言模型，这有一份阅读清单的更多相关文章

  1. ruby-on-rails - Rails - 子类化模型的设计模式是什么？ - 2

    我有一个模型:classItem项目有一个属性“商店”基于存储的值，我希望Item对象对特定方法具有不同的行为。Rails中是否有针对此的通用设计模式？如果方法中没有大的if-else语句，这是如何干净利落地完成的？ 最佳答案 通常通过Single-TableInheritance. 关于ruby-on-rails-Rails-子类化模型的设计模式是什么？，我们在StackOverflow上找到一个类似的问题： https://stackoverflow.co

  2. ruby - 如何将脚本文件的末尾读取为数据文件(Perl 或任何其他语言) - 2

    我正在寻找执行以下操作的正确语法(在Perl、Shell或Ruby中):#variabletoaccessthedatalinesappendedasafileEND_OF_SCRIPT_MARKERrawdatastartshereanditcontinues. 最佳答案 Perl用__DATA__做这个:#!/usr/bin/perlusestrict;usewarnings;while(){print;}__DATA__Texttoprintgoeshere 关于ruby-如何将脚

  3. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前，我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它，但这似乎不是“ruby方式”，我将需要在不久的将来访问更多模型。这可能会变得很脏，是否有针对这种情况的任何技术？注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展，本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向，这似乎很麻烦。最终从任何

  4. ruby-on-rails - 在混合/模块中覆盖模型的属性访问器 - 2

    我有一个包含模块的模型。我想在模块中覆盖模型的访问器方法。例如:classBlah这显然行不通。有什么想法可以实现吗？ 最佳答案 您的代码看起来是正确的。我们正在毫无困难地使用这个确切的模式。如果我没记错的话，Rails使用#method_missing作为属性setter，因此您的模块将优先，阻止ActiveRecord的setter。如果您正在使用ActiveSupport::Concern(参见thisblogpost)，那么您的实例方法需要进入一个特殊的模块:classBlah

  5. ruby-on-rails - 如何验证非模型(甚至非对象)字段 - 2

    我有一个表单，其中有很多字段取自数组(而不是模型或对象)。我如何验证这些字段的存在？solve_problem_pathdo|f|%>... 最佳答案 创建一个简单的类来包装请求参数并使用ActiveModel::Validations。#definedsomewhere,atthesimplest:require'ostruct'classSolvetrue#youcouldevencheckthesolutionwithavalidatorvalidatedoerrors.add(:base,"WRONG!!!")unlesss

  6. ruby-on-rails - form_for 中不在模型中的自定义字段 - 2

    我想向我的Controller传递一个参数，它是一个简单的复选框，但我不知道如何在模型的form_for中引入它，这是我的观点:{:id=>'go_finance'}do|f|%>Transferirde:para:Entrada:"input",:placeholder=>"Quantofoiganho?"%>Saída:"output",:placeholder=>"Quantofoigasto?"%>Nota:我想做一个额外的复选框，但我该怎么做，模型中没有一个对象，而是一个要检查的对象，以便在Controller中创建一个ifelse，如果没有检查，请帮助我，非常感谢,谢谢

  7. ruby-on-rails - 如何将验证与模型分开 - 2

    我有一些非常大的模型，我必须将它们迁移到最新版本的Rails。这些模型有相当多的验证(User有大约50个验证)。是否可以将所有这些验证移动到另一个文件中？说app/models/validations/user_validations.rb。如果可以，有人可以提供示例吗？ 最佳答案 您可以为此使用关注点:#app/models/validations/user_validations.rbrequire'active_support/concern'moduleUserValidationsextendActiveSupport:

  8. ruby-on-rails - Rails 模型——非持久类成员或属性？ - 2

    对于Rails模型，是否可以/建议让一个类的成员不持久保存到数据库中？我想将用户最后选择的类型存储在session变量中。由于我无法从我的模型中设置session变量，我想将值存储在一个“虚拟”类成员中，该成员只是将值传递回Controller。你能有这样的类(class)成员吗？ 最佳答案 将非持久属性添加到Rails模型就像任何其他Ruby类一样:classUser扩展解释:在Ruby中，所有实例变量都是私有(private)的，不需要在赋值前定义。attr_accessor创建一个setter和getter方法:classUs

  9. ruby-on-rails - Rails - 从另一个模型中创建一个模型的实例 - 2

    我有一个正在构建的应用程序，我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是，在make_tires内部有一个错误，如果我为Tire尝试它，则没有用于创建或新建的activerecord方法。当我检查轮胎时，它没有这些方法。我该如何补救？错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发，它们都因相同的错误而失败。 最佳答案

  10. ruby-on-rails - Ruby 中的内存模型 - 2

    ruby如何管理内存。例如:如果我们在执行过程中采用C程序，则以下是内存模型。类似于这个ruby如何处理内存。C:__________________|||stack|||------------------||||------------------|||||Heap|||||__________________|||data|__________________|text|__________________Ruby:? 最佳答案 Ruby中没有“内存”这样的东西。Class#allocate分配一个对象并返回该对象。这就是程序

随机推荐