草庐IT

GPT-4技术细节保密惹争议,OpenAI首席科学家回应了

机器之心 2023-03-28 原文
昨天凌晨,OpenAI 出人意料地发布了 GPT-4。

这次发布令科技界颇感意外,毕竟人们普遍认为 GPT-4 会在微软周四的「The Future of Work with AI」活动上宣布。

距离 ChatGPT 首次亮相才不过四个月,它便创造了「历史上增长最快的消费者应用程序」记录。如今 GPT-4 上线,这款产品的应对能力又上了一层楼。

震撼之余,很多研究者认真阅读了 GPT-4 的技术报告,却感到了失望:怎么没有技术细节呢?

一次违背创始精神的发布

在公告中,OpenAI 分享了大量 GPT-4 基准和测试结果以及一些有趣的演示,但几乎没有提供有关用于训练系统的数据、算力成本或用于创建 GPT-4 的硬件或方法等信息。

比如,一种省流读 GPT-4 论文的结论是:「我们用的 Python。」

更有人打趣道:「我读到了 GPT-4 是基于 Transformer 架构的。」

许多 AI 领域的成员批评了这一决定,指出它破坏了 OpenAI 作为研究型组织的创始精神,并使其他人更难复现其工作。

对 GPT-4 封闭模型的大多数初始反应都是负面的,但似乎愤怒已经不能改变其「闭源」的决定:

其实对于 OpenAI 不开源的批判已持续了一段时间。连 OpenAI 的创始团队成员马斯克都公开质疑过其「背离初心」:

就这件事,让马斯克至今仍感到困惑:「我不懂,当初投了近 1 亿美元的非营利机构怎么就变成了市值 300 亿的商业公司呢?」

Nomic AI 信息设计副总裁 Ben Schmidt 说道:「我认为可以停止称其『Open』了 —— 介绍 GPT-4 的 98 页论文自豪地宣称他们没有披露关于训练集内容的任何信息。」

还有一些人认为, OpenAI 隐藏 GPT-4 细节的另一个原因是法律责任。AI 语言模型是在巨大的文本数据集上训练的,许多模型(包括早期的 GPT 系统)都会从网络上抓取信息,其中一个来源可能包括受版权保护的素材。目前已有几家公司正被独立艺术家和图片网站 Getty Images 起诉。

一些人表示,更重要的是,这会使针对 GPT-4 构成的威胁制定保障措施变得更困难。Ben Schmidt 也认为,由于无法看到 GPT-4 训练的数据,很难知道该系统可以在哪里安全使用并提出修复方案。

「众所周知,像 GPT-4 这样的神经网络是黑盒子。事实上,它们的操作是不可预测和难以理解的,这是关于是否应该使用它们、在何处使用它们的最重要问题之一。现在 OpenAI 正逐步制定一个标准,进一步扩展了这个谜团。」Ben Schmidt 表示。

OpenAI 首席科学家:开源 GPT-4 是不明智的

OpenAI 的首席科学家兼联合创始人 Ilya Sutskever 对上述争议进行了回应,表示 OpenAI 不分享更多 GPT-4 细节信息的原因是「害怕竞争和担心安全」:

「从竞争格局上看,外界的竞争很激烈。GPT-4 的开发并不容易,几乎集聚了所有的 OpenAI 力量,经过很长时间的努力才产出了这个东西,而且有很多公司都想做同样的事情。」

「安全方面的原因不像竞争方面那样突出,但它也会发生变化。这些模型是非常高效的,而且它们变得越来越高效。某些时候,如果有人愿意,用这些模型造成巨大的伤害将会相当容易。随着这些能力越来越高,不公开它们是有道理的。」

当被问及「为什么 OpenAI 改变了分享研究成果的方式」,Sutskever 回答说:「坦率地说,我们错了。如果你像我们一样相信,在某个时候,AI 或 AGI 将变得极其强大、令人难以置信,那么开源就没有意义。这是一个坏主意,我完全相信在几年内,每个人都会清楚地认识到开源 AI 是不明智的。」

Lightning AI 首席执行官、开源工具 PyTorch Lightning 的创建者 William Falcon 对 VentureBeat 表示,自己能从商业角度理解这个决定:「作为一家公司,你完全有权这样做。」

但他也表示,OpenAI 此举为更广泛的社区树立了一个「坏的模板」,可能会产生有害影响。

关于 OpenAI 不共享其训练数据的原因,Sutskever 的解释是:「我对此的看法是,训练数据是技术。我们不公开训练数据的原因与我们不公开参数数量的原因几乎相同。」当被问及 OpenAI 是否可以明确声明其训练数据不包含仿版材料时,Sutskever 没有回答。

Sutskever 同意 OpenAI 批评者的观点,即开源模型有助于保障措施的开发。「如果有更多人研究这些模型,我们就会了解更多,那就更好了,」他说。出于这些原因,OpenAI 向某些学术和研究机构提供了访问其系统的权限。

接下来,我们期待什么?

由 GPT-4 引发的热议预计还会持续一阵,以至于人们可能会忽略一些其他动态。

比如,在昨日铺天盖地的讨论中,谷歌的发布就显得静悄悄。目前,Google Workspace 中已经全面集成了生成式 AI,更新了生成图片、演示文稿、电子邮件、文档等功能。可以想象的是,这将是一次生产力的大提升。

接下来,人们可以期待的还有很多:不久之后,微软 CEO 萨蒂亚・纳德拉将亲自登台演讲,介绍微软和 OpenAI 的更多合作,比如基于 GPT-4 的 Office 套件。

消息来源:https://www.theinformation.com/articles/microsoft-rations-access-to-ai-hardware-for-internal-teams

让我们拭目以待。

有关GPT-4技术细节保密惹争议,OpenAI首席科学家回应了的更多相关文章

  1. Unity 热更新技术 | (三) Lua语言基本介绍及下载安装 - 2

    ?博客主页:https://xiaoy.blog.csdn.net?本文由呆呆敲代码的小Y原创,首发于CSDN??学习专栏推荐:Unity系统学习专栏?游戏制作专栏推荐:游戏制作?Unity实战100例专栏推荐:Unity实战100例教程?欢迎点赞?收藏⭐留言?如有错误敬请指正!?未来很长,值得我们全力奔赴更美好的生活✨------------------❤️分割线❤️-------------------------

  2. MIMO-OFDM无线通信技术及MATLAB实现(1)无线信道:传播和衰落 - 2

     MIMO技术的优缺点优点通过下面三个增益来总体概括:阵列增益。阵列增益是指由于接收机通过对接收信号的相干合并而活得的平均SNR的提高。在发射机不知道信道信息的情况下,MIMO系统可以获得的阵列增益与接收天线数成正比复用增益。在采用空间复用方案的MIMO系统中,可以获得复用增益,即信道容量成倍增加。信道容量的增加与min(Nt,Nr)成正比分集增益。在采用空间分集方案的MIMO系统中,可以获得分集增益,即可靠性性能的改善。分集增益用独立衰落支路数来描述,即分集指数。在使用了空时编码的MIMO系统中,由于接收天线或发射天线之间的间距较远,可认为它们各自的大尺度衰落是相互独立的,因此分布式MIMO

  3. ruby-on-rails - 用于门户的 Ruby 技术 - 2

    我刚刚看到whitehouse.gov正在使用drupal作为CMS和门户技术。drupal的优点之一似乎是很容易添加插件,而且编程最少,即重新发明轮子最少。这实际上正是Ruby-on-Rails的DRY理念。所以:drupal的缺点是什么?Rails或其他基于Ruby的技术有哪些不符合whitehouse.org(或其他CMS门户)门户技术的资格? 最佳答案 Whatarethedrawbacksofdrupal?对于Ruby和Rails,这确实是一个相当主观的问题。Drupal是一个可靠的内容管理选项,非常适合面向社区的站点。它

  4. iNFTnews | 周杰伦18年前未发布的作品Demo,藏在了区块链技术里 - 2

    当音乐碰上区块链技术,会擦出怎样的火花?或许周杰伦已经给了我们答案。8月29日下午,B站独家首发周杰伦限定珍藏Demo独家访谈VCR,周杰伦在VCR里分享了《晴天》《青花瓷》《搁浅》《爱在西元前》四首经典歌曲Demo背后的创作故事,并首次公布18年前未发布的神秘作品《纽约地铁》的Demo。在VCR中,方文山和杰威尔音乐提及到“多亏了区块链技术,现在我们可以将这些Demos,变成独一无二具有收藏价值的艺术品,这些Demos可以在薄盒(国内数藏平台)上听到。”如何将音乐与区块链技术相结合,薄盒方面称:“薄盒作为区块链技术服务方,打破传统对于区块链技术只能作为数字收藏的理解。聚焦于区块链技术赋能,在

  5. ruby - 使用哪种群发消息技术? - 2

    我感到有点困惑——大约24小时以来,我一直在考虑在我的项目中使用哪种组播技术。基本上,我需要的是:创建组(通过一些后端进程)任意客户端广播消息(1:N,N:N)(可能)直接消息(1:1)(重要)使用我自己的后端(例如,通过某种HTTPAPI)对客户端进行身份验证/授权能够通过后端进程(或服务器插件)踢出特定的客户端这是我要的:Ruby或Haxe中的后端相关流程JS+Haxe(Flash9)中的前端—在浏览器中,因此理想情况下通过80/443进行通信,但不一定。因此,这项技术必须能够在HaxeforFlash中轻松访问,最好是Ruby。我一直在考虑:RabbitMQ(或OpenAMQ)、

  6. Linux网络编程必备的POSIX API的细节 - 2

    目录POSIXAPI大集合五元组三次握手的过程,内核协议栈分析listen函数DDOS攻击,洪水攻击DDOS攻击的应对措施数据发送 怎么保证顺序?如何保证包地顺序到达(序号+确认应答机制+重传)TCP断开连接的过程问题1.大量的CLOSE_WAIT+FIN_WAIT2是为啥?time_wait状态存在的原因?POSIXAPI大集合五元组(sip,sport,dip,dport,protocol)三次握手的过程,内核协议栈分析内核协议栈中是有内核数据结构的.  我们send/write数据,都是先发送到内核协议栈中,然后由内核协议栈封装发送到物理介质中传输到对端的对端的接收过程也是经有内核协议栈

  7. 企业大数据发展面临问题之存算分离技术思考 - 2

    文章目录概述背景为何要存算分离优势**应用场景**存算分离产品技术流派华为JuiceFSHashDataXSKY概述背景Hadoop一出生就是奔存算一体设计,当时设计思想就是存储不动而计算(code也即是代码程序)动,负责调度Yarn会把计算任务尽量发到要处理数据所在的实例上,这也是与传统集中式存储最大的不同。为何当时Hadoop设计存算一体的耦合?要知道2006年服务器带宽只有100Mb/s~1Gb/s,但是HDD也即是磁盘吞吐量有50MB/s,这样带宽远远不够传输数据,网络瓶颈尤为明显,无奈之举只好把计算任务发到数据所在的位置。众观历史常言道天下分久必合合久必分,随着云计算技术的发展,数据

  8. ruby-on-rails - 在处理电子邮件回复时,我怎样才能忽略任何电子邮件客户端细节和历史记录? - 2

    我有一个通过IMAP处理传入电子邮件的Rails应用程序。当前使用一种方法来搜索TMail对象的各个部分以查找给定的content_type:defself.search_parts_for_content_type(parts,content_type='text/html')parts.eachdo|part|ifpart.content_type==content_typereturnpart.bodyelseifpart.multipart?ifbody=self.search_parts_for_content_type(part.parts,content_type)ret

  9. 【华为OD技术面试 | 真八股 】MySQL联合索引,谈springIOC的理解,谈springAOP的理解,Erika和zookeeper等问题 - 2

    文章目录华为OD面试流程1.mysql数据库建了两个字段,且设置了联合索引,如果其中有一个字段为空会出现什么问题?2.谈谈springIOC的理解,有什么好处,解决了什么问题3.谈谈springAOP的理解,切面编程有没有实际应用,有哪些注解,作用是什么,有那些应用场景?4.Erika和zookeeper有了解过吗,作用是什么,主要解决了什么问题5.谈谈JDK、JRE、JVM的理解,区别是什么6.谈谈对泛型的理解7.JVM的组成华为OD面试流程机试:三道算法题,关于机试,橡皮擦已经准备好了各语言专栏,可以直接订阅。性格测试:机试技术一面(本专栏核心)技术二面(本专栏核心)主管面试定级定薪发of

  10. ChatGPT教程之深入了解魔术背后的技术 - 2

    解开谜团:深入探索ChatGPT的技术奇迹。ChatGpt无处不在,无论是在播客、博客、YouTube还是社交媒体上。当我注意到这项新技术如此受欢迎时,我决定试一试,我被震惊了!有很多关于ChatGpt及其魔力的博客,但在这篇博客中,我将深入探讨其内部技术及其工作原理!ChatGpt简介根据OpenAI,ChatGpt被描述为:“我们训练了一个名为ChatGpt的模型,它以对话方式进行交互。对话格式使ChatGpt可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT是InstructGPT的兄弟模型,它经过训练可以按照提示中的说明进行操作并提供详细的响应。”OpenA

随机推荐