草庐IT

超越 ChatGPT,GPT-4 将成为下一个“顶流”?

Zilliz Planet 2023-07-15 原文

出品人:Towhee 技术团队

从2022年底开始预热,智能对话机器人 ChatGPT (即 GPT 3.5)成功地又一次掀起了人工智能的热潮。除了AI 相关的从业者以外,如今 ChatGPT 已是家喻户晓。就在美国东部时间 3月14日,其所属公司 OpenAI 热打铁又推出了 GPT-4:**比 ChatGPT 更靠谱、更听话、更有创造力、更接近(甚至超过)人类。**根据来自各种项目(比如 ChatGPT)的反馈,OpenAI 在 GPT3.5 的基础上进行了不断的迭代。耗时六个月终于在 GPT-4 中实现了前所未有的结果,在真实性、可操纵性、拒绝超范围上都达到了历代最优秀的表现。除了在自然语言的理解能力上有了显著提升,GPT-4 还能够理解图像。目前只有少数获邀用户能够“尝鲜” GPT-4 的对话功能,而图像输入尚未对外开放。

在过去的两年中,OpenAI 重建了他们的整个深度学习堆栈,并携手 Azure 共同设计了一个超级计算机承载模型开发。如果说 GPT-3.5 是该系统的第一个“测试产品“, GPT-4 则是进一步修复错误和改进理论基础后诞生的“最新作品”。**OpenAI 认为这是他们目前最稳定、最优秀的大模型。**GPT-4 是一个大规模的多模态模型,能够接收图像和文本两种输入,在理解输入的数据后生成并返回文本回复。尽管 GPT-4 在现实生活中的能力受限,但它作为自然语言模型已经展现出了惊人的“智力”。官方报告声称他们仅用不超过千分之一的计算量训练了模型,就准确地预测 GPT-4 在各方面的性能。该报告表示 GPT-4 能够在各种专业的学术测试中展现出近乎人类的水平。它甚至通过了人类的律师考试模拟测试,成绩名列前 10%!(而ChatGPT 的成绩大约是倒数10%。)


GPT performance on academic and professional exams

GPT-4 的本质是一个使用大规模数据预训练的 GPT 模型。该模型基于 Transformer 结构,采用了最常见的 NLP 预训练任务之一,即预测文本中的下一个单词。而能够使 GPT 能力更上一层楼的重要步骤,是在训练之后使用 RLHF(人类反馈强化学习)方法进行额外的调整。观察 GPT 系列之前的表现,尤其面对不安全的输入时,RLHF 似乎不足以获得稳定良好的反馈。除此以外,当出现奖励模型收集数据时未曾使用的指令时,模型也可能会出现预期以外的不良行为。为此,GPT-4 加强了对模型自身的依赖,从而将模型引导到更细粒度的适当行为。这种针对安全的方法包括两个主要部分:在RLHF训练中额外引入一组与安全相关的提示、以及基于规则的奖励模型 (RBRM)。

RBRMs 其实是一组零样本迁移的 GPT-4 分类器,为 GPT-4 的策略模型提供额外的奖励信号。它们能够协助 RLHF 在微调时引导模型产生正确的行为,比如拒绝生成有害内容、接收无害请求等。RBRM 有三个输入:可选择性输入的提示、来自策略模型的输出、以及人为制定的评价标准。该奖励模型会根据制定的标准指引模型将回复分为四类:直接拒绝、隐晦拒绝(比如回避或顾左右而言他)、回复包含不允许的内容、安全的回应。然后根据安全相关的提示,当模型成功拒绝有害内容的请求时给予其奖励。同样,如果请求的内容根据提示确认为安全,奖励模型不拒绝此类安全请求。这种分类和奖励机制与其他改进相结合,能够更好地引导模型接近目标行为。

GPT-4 进行了模型级干预,增加了引发不良行为的难度,大幅减少了不良行为产生的可能性。然而,官方报告同时也指出这依然无法保证模型能够百分之百遵守规则。针对 GPT-4 和其后续模型有可能对社会产生的重大影响和其各种潜在的危险能力,OpenAI 正在与外部研究人员合作,以尽快寻找并推荐应对方案。

Combining GPT-4 & Stable Diffusion

除了官方资料外,最近有一篇由业内诸多顶尖“大佬”联名发布的论文 Sparks of Artificial General Intelligence: Early experiments with GPT-4 也引起了广泛的关注。该论文认为 GPT-4 使用了空前的计算资源和数据进行训练,是一种新型的大语言模型(LLM)。在他们的早期实验中,GPT-4 表现出了前所未有的通用智能。它能够在数学、编程、视觉、医学、法律、心理学等领域中解决或新颖或困难任务的能力,其水平接近甚至超过了人类水平。因此,GPT-4 可被视作通用人工智能的早期版本。不过论文也表明 GPT 系列存在一些实质性缺陷难以被克服,比如逻辑推理问题等,被认为是Transformer 模型使用预测下一个词的训练范式时所固有的问题。即使有研究指出一步步地指引能够改善 GPT 系列模型的行为,却无法从根本上解决问题。总的来说,作者们在测试 GPT-4 的各种能力时,也强调了探索 GPT-4 局限性的重要,讨论了社会舆论对科技发展的影响、以及人工智能面临的挑战和研究方向。

相关资料:

  • 项目地址:GPT-4
  • 相关论文:
    • GPT-4 Technical Report
    • Sparks of Artificial General Intelligence: Early experiments with GPT-4

有关超越 ChatGPT,GPT-4 将成为下一个“顶流”?的更多相关文章

  1. ruby - 使用 Vim Rails,您可以创建一个新的迁移文件并一次性打开它吗? - 2

    使用带有Rails插件的vim,您可以创建一个迁移文件,然后一次性打开该文件吗?textmate也可以这样吗? 最佳答案 你可以使用rails.vim然后做类似的事情::Rgeneratemigratonadd_foo_to_bar插件将打开迁移生成的文件,这正是您想要的。我不能代表textmate。 关于ruby-使用VimRails,您可以创建一个新的迁移文件并一次性打开它吗?,我们在StackOverflow上找到一个类似的问题: https://sta

  2. ruby-on-rails - Rails - 一个 View 中的多个模型 - 2

    我需要从一个View访问多个模型。以前,我的links_controller仅用于提供以不同方式排序的链接资源。现在我想包括一个部分(我假设)显示按分数排序的顶级用户(@users=User.all.sort_by(&:score))我知道我可以将此代码插入每个链接操作并从View访问它,但这似乎不是“ruby方式”,我将需要在不久的将来访问更多模型。这可能会变得很脏,是否有针对这种情况的任何技术?注意事项:我认为我的应用程序正朝着单一格式和动态页面内容的方向发展,本质上是一个典型的网络应用程序。我知道before_filter但考虑到我希望应用程序进入的方向,这似乎很麻烦。最终从任何

  3. ruby-on-rails - 渲染另一个 Controller 的 View - 2

    我想要做的是有2个不同的Controller,client和test_client。客户端Controller已经构建,我想创建一个test_clientController,我可以使用它来玩弄客户端的UI并根据需要进行调整。我主要是想绕过我在客户端中内置的验证及其对加载数据的管理Controller的依赖。所以我希望test_clientController加载示例数据集,然后呈现客户端Controller的索引View,以便我可以调整客户端UI。就是这样。我在test_clients索引方法中试过这个:classTestClientdefindexrender:template=>

  4. ruby-on-rails - 如果 Object::try 被发送到一个 nil 对象,为什么它会起作用? - 2

    如果您尝试在Ruby中的nil对象上调用方法,则会出现NoMethodError异常并显示消息:"undefinedmethod‘...’fornil:NilClass"然而,有一个tryRails中的方法,如果它被发送到一个nil对象,它只返回nil:require'rubygems'require'active_support/all'nil.try(:nonexisting_method)#noNoMethodErrorexceptionanymore那么try如何在内部工作以防止该异常? 最佳答案 像Ruby中的所有其他对象

  5. ruby - 为什么 SecureRandom.uuid 创建一个唯一的字符串? - 2

    关闭。这个问题需要detailsorclarity.它目前不接受答案。想改进这个问题吗?通过editingthispost添加细节并澄清问题.关闭8年前。Improvethisquestion为什么SecureRandom.uuid创建一个唯一的字符串?SecureRandom.uuid#=>"35cb4e30-54e1-49f9-b5ce-4134799eb2c0"SecureRandom.uuid方法创建的字符串从不重复?

  6. ruby-on-rails - Rails - 从另一个模型中创建一个模型的实例 - 2

    我有一个正在构建的应用程序,我需要一个模型来创建另一个模型的实例。我希望每辆车都有4个轮胎。汽车模型classCar轮胎模型classTire但是,在make_tires内部有一个错误,如果我为Tire尝试它,则没有用于创建或新建的activerecord方法。当我检查轮胎时,它没有这些方法。我该如何补救?错误是这样的:未定义的方法'create'forActiveRecord::AttributeMethods::Serialization::Tire::Module我测试了两个环境:测试和开发,它们都因相同的错误而失败。 最佳答案

  7. ruby - 用 Ruby 编写一个简单的网络服务器 - 2

    我想在Ruby中创建一个用于开发目的的极其简单的Web服务器(不,不想使用现成的解决方案)。代码如下:#!/usr/bin/rubyrequire'socket'server=TCPServer.new('127.0.0.1',8080)whileconnection=server.acceptheaders=[]length=0whileline=connection.getsheaders想法是从命令行运行这个脚本,提供另一个脚本,它将在其标准输入上获取请求,并在其标准输出上返回完整的响应。到目前为止一切顺利,但事实证明这真的很脆弱,因为它在第二个请求上中断并出现错误:/usr/b

  8. ruby - 一个 YAML 对象可以引用另一个吗? - 2

    我想让一个yaml对象引用另一个,如下所示:intro:"Hello,dearuser."registration:$introThanksforregistering!new_message:$introYouhaveanewmessage!上面的语法只是它如何工作的一个例子(这也是它在thiscpanmodule中的工作方式。)我正在使用标准的ruby​​yaml解析器。这可能吗? 最佳答案 一些yaml对象确实引用了其他对象:irb>require'yaml'#=>trueirb>str="hello"#=>"hello"ir

  9. ruby - Rails 关联 - 同一个类的多个 has_one 关系 - 2

    我的问题的一个例子是体育游戏。一场体育比赛有两支球队,一支主队和一支客队。我的事件记录模型如下:classTeam"Team"has_one:away_team,:class_name=>"Team"end我希望能够通过游戏访问一个团队,例如:Game.find(1).home_team但我收到一个单元化常量错误:Game::team。谁能告诉我我做错了什么?谢谢, 最佳答案 如果Gamehas_one:team那么Rails假设您的teams表有一个game_id列。不过,您想要的是games表有一个team_id列,在这种情况下

  10. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

随机推荐