草庐IT

三年16篇一作,谷歌大模型高产研究科学家Yi Tay离职创业

张倩 2023-03-31 原文

在 GPT-4 发布的第二天,图灵奖得主 Geoffrey Hinton 贡献了一个精彩的比喻:「毛毛虫从食物中提取营养,然后变成蝴蝶。人们已经提取了数十亿条理解的线索,GPT-4 是人类的蝴蝶。」

短短两周,这只蝴蝶似乎已经在各个领域掀起飓风。相应地,AI 行业迎来了新一波创业潮。其中不乏从谷歌等大厂走出的创业者。

如果你经常读 AI 大模型方向的论文,Yi Tay 想必是一个熟悉的名字。作为谷歌大脑高级研究科学家,Yi Tay 为许多知名的大型语言模型和多模态模型做出了贡献,包括 PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、MUM 等。

根据 Yi Tay 个人的统计,在谷歌大脑的 3.3 年里,他总共参与撰写了大约 45 篇论文,是其中 16 篇的一作。一作论文包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等。

和大多数离开谷歌自主创业的 Transformer 作者一样,Yi Tay 也找到了一个合适的时间点离开,迈向新的人生旅程。

在一篇博客文章里,Yi Tay 官宣了自己离职的消息,并在更新后的个人资料中透露了下一步的动向:参与创办一家名为 Reka 的公司,并担任该公司的首席科学家,主攻大型语言模型。

Yi Tay 还透露,Reka 总部位于旧金山湾区,由强大的前 DeepMind、FAIR、谷歌大脑研究人员和工程师组成的团队共同创立。

除了 Yi Tay,香港大学计算机系助理教授刘琦也在自己的个人主页中提到,他正在参与创建一个名为「Reka」的公司,致力于多模态基础模型的开发。读博期间,刘琦曾在谷歌实习过一段时间,和 Yi Tay 合著过《Quaternion Knowledge Graph Embedding》等论文。

由于「Reka」的官网还没办法打开,我们暂时无法获取关于该公司的更多信息。

在告别谷歌之际,Yi Tay 心怀感激地写下了一篇博客,表示离开谷歌确实有一种毕业的感觉,因为他从谷歌以及他出色的同事、导师、经理那里学到了很多。

谷歌对我来说永远是特别的,因为这是我学会进行真正出色研究的地方。我回想起我第一次加入的时候,当我在如此近的地方看到这么多著名的、有影响力的论文的作者时,我就像一个粉丝遇到了喜欢的明星。这对我来说是一个很大的感官刺激,具有很强的激励性和启发性。直到今天,我依然很感激我能和他们中的许多人一起工作和学习,至少在他们中的大多数人离开之前。

我学到了很多。

从更广泛的角度来看,我了解了进行关键研究的重要性以及如何推动研究朝着产生具体影响的目标发展。在大学里,我们只被告知必须投中 N 篇会议论文(才能毕业或做其他事情)。在谷歌,事情必须落地,并且必须产生实际影响。

对我来说,这里最大的启发是关于如何以端到端的方式拥有研究创新过程,即从想法到论文 / 专利,再到生产,最后为用户服务。在很大程度上,我认为这个过程让我成为了一个更好的研究者。

如果一定要形容我的成长,我觉得我的整个研究历程可以说是「平滑的」而不是「突然涌现的」。我认为随着时间的推移,我自己的研究能力逐渐线性提高,因为我变得越来越好,而且我更多地沉浸在谷歌文化中。这就像一个扩散(diffusion)过程。直到今天,我仍然相信研究环境非常重要。

大家都说「人」是谷歌最大的福利。我完全同意。我永远感谢我所有亲密的合作者和导师,他们在我作为研究人员和个人的成长过程中发挥了巨大的作用。

从内心深处,我感谢我的现任经理 (Quoc Le) 和我的前任经理 (Don Metzler) 给我机会一起工作,感谢他们一直以来帮助我、照顾我 —— 不仅仅是作为一名下属,也作为一个人。我还要感谢 Ed Chi、Denny Zhou 和 Slav Petrov 等资深人士在整个旅程中对我的支持。最后,我要感谢 Andrew Tomkins,他看中了我,并聘请了我加入 Google。

我还要感谢我最亲密的朋友 / 合作者(Mostafa Dehghani、Vinh Tran、Jason Wei、Hyung Won、Steven Zheng、Siamak Shakeri),感谢他们和我一起度过所有的愉快时光:分享热门话题,相互学习,一起撰写论文,以及讨论研究。

值得一提的是,在国外掀起 AI 大模型创业潮的同时,国内创业公司也展开了激烈的人才抢夺战。例如有媒体爆出,志在打造中国 OpenAI 的王慧文也在招兵买马,计划收购两家清华 NLP 公司:深言科技、面壁智能。而机器之心 Talent AI 栏目也了解到国内顶级 AI 实验室、多家创业公司以及一批量化投资机构也都在积极寻找大模型人才。

有关三年16篇一作,谷歌大模型高产研究科学家Yi Tay离职创业的更多相关文章

  1. 在VMware16虚拟机安装Ubuntu详细教程 - 2

    在VMware16.2.4安装Ubuntu一、安装VMware1.打开VMwareWorkstationPro官网,点击即可进入。2.进入后向下滑动找到Workstation16ProforWindows,点击立即下载。3.下载完成,文件大小615MB,如下图:4.鼠标右击,以管理员身份运行。5.点击下一步6.勾选条款,点击下一步7.先勾选,再点击下一步8.去掉勾选,点击下一步9.点击下一步10.点击安装11.点击许可证12.在百度上搜索VM16许可证,复制填入,然后点击输入即可,亲测有效。13.点击完成14.重启系统,点击是15.双击VMwareWorkstationPro图标,进入虚拟机主

  2. 深度学习12. CNN经典网络 VGG16 - 2

    深度学习12.CNN经典网络VGG16一、简介1.VGG来源2.VGG分类3.不同模型的参数数量4.3x3卷积核的好处5.关于学习率调度6.批归一化二、VGG16层分析1.层划分2.参数展开过程图解3.参数传递示例4.VGG16各层参数数量三、代码分析1.VGG16模型定义2.训练3.测试一、简介1.VGG来源VGG(VisualGeometryGroup)是一个视觉几何组在2014年提出的深度卷积神经网络架构。VGG在2014年ImageNet图像分类竞赛亚军,定位竞赛冠军;VGG网络采用连续的小卷积核(3x3)和池化层构建深度神经网络,网络深度可以达到16层或19层,其中VGG16和VGG

  3. 【详解】Docker安装Elasticsearch7.16.1集群 - 2

    开门见山|拉取镜像dockerpullelasticsearch:7.16.1|配置存放的目录#存放配置文件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/config#存放数据的文件夹mkdir-p/opt/docker/elasticsearch/node-1/data#存放运行日志的文件夹mkdir-p/opt/docker/elasticsearch/node-1/log#存放IK分词插件的文件夹mkdir-p/opt/docker/elasticsearch/node-1/plugins若你使用了moba,直接右键新建即可如上图所示依次类推创建

  4. AT24C04、AT24C08、AT24C16系列EEPROM芯片单片机读写驱动程序 - 2

    一、概述在之前的一篇博文中,记录了AT24C01、AT24C02芯片的读写驱动,先将之前的相关文章include一下:1.IIC驱动:4位数码管显示模块TM1637芯片C语言驱动程序2.AT24C01/AT24C02读写:AT24C01/AT24C02系列EEPROM芯片单片机读写驱动程序本文记录分享AT24C04、AT24C08、AT24C16芯片的单片机C语言读写驱动程序。二、芯片对比介绍型号容量bit容量byte页数字节/页器件寻址位可寻址器件数WordAddress位数/字节数备注AT24C044k5123216A2A149/1WordAddress使用P0位AT24C088k1024

  5. ruby-on-rails - 如何在 Ubuntu 16.04 上安装 mysql2 [错误 : Error installing mysql2: ERROR: Failed to build gem native extension.] - 2

    这个问题在这里已经有了答案:Errorinstallingmysql2:Failedtobuildgemnativeextension(32个答案)关闭5年前。我不知道在ubuntu上安装mysql2:(sudogeminstallmysql2Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingmysql2:ERROR:Failedtobuildgemnativeextension.currentdirectory:/var/lib/gems/2.3.0/gems/mysql2-0.4.4/ext/my

  6. css - sass --watch 在初始启动后不更新 (sass 3.1.16) - 2

    我正在使用sass为我正在开发的一个简单的静态网站编写css。我运行了sass--watchcustom.scss:custom.css,它在启动时编译良好,并显示消息:Sassiswatchingforchanges.PressCtrl-Ctostop.overwritecustom.css但是,每当我更新.scss文件时,什么也没有发生。我以前没有在Rails应用程序的上下文之外使用过SASS,所以我想知道我是否遗漏了什么?我的scss文件也非常简单,所以我怀疑它有什么问题,特别是因为它在第一次运行时就可以工作。sass-v报告Sass3.1.16(BrainyBetty),在Li

  7. ruby-on-rails - 更新到 Ubuntu 16.04 后 mysql2 gem 不工作 - libmysqlclient.so.18 - 2

    更新前一切正常。将ruby​​1.9.3p392与RVM和rails(3.2.12)结合使用使用MySQL5.7.16和Nginx和Unicorn日志显示LoadError:libmysqlclient.so.18:cannotopensharedobjectfile:Nosuchfileordirectory-/home/bill/apps/xxx/shared/bundle/ruby/1.9.1/gems/mysql2-0.3.16/lib/mysql2/mysql2.so我试过:卸载/安装mysql2gem运行捆绑安装没有任何效果。更新后有人遇到这个问题吗?

  8. ruby - MacOS Sierra 上带有 RMagick 2.16 的 ImageMagick 7 找不到 MagickWand.h - 2

    我升级到imagemagick-7.0.4-3.sierra,现在我之前安装的RMagck2.16失败了。我检查了MagicWand:$find/usr/local-nameMagickWand.h/usr/local/Cellar/imagemagick/7.0.4-3/include/ImageMagick-7/MagickWand/MagickWand.h所以它似乎在那里。我还重新安装并重新链接了pgk-config。也没有帮助。有任何想法吗? 最佳答案 我刚刚在运行Sierra的新Mac上遇到并解决了这个问题。目前似乎没有针

  9. [电路]16-戴维宁定理和诺顿定理 - 2

    [电路]系列文章目录1-发出功率和吸收功率关系2-独立源和受控源3-基尔霍夫定律4-两端电路等效变换、电阻串并联5-电压源、电流源的串联和并联6-电阻的星形连接和角形连接等效变换(星角变换)7-实际电源模型和等效变换8-无源一端口网络输入电阻9-电路的图及相关概念10-支路电流法11-网孔电流法12-回路电流法13-结点电压法14-叠加定理和齐性定理15-替代定理16-戴维宁定理和诺顿定理文章目录[电路]系列文章目录一、戴维宁定理1定义2图示说明3说明4例题二、诺顿定理1定义2图示说明3说明三、特殊说明一、戴维宁定理1定义任何一个线性含源一端口网络,对外电路来说,总可以用一个电压源和电阻的串联

  10. javascript - 使用 React 16.3.2 时未调用 UNSAFE_componentWillReceiveProps - 2

    我遵循了https://reactjs.org/blog/2018/03/27/update-on-async-rendering.html#gradual-migration-path中的建议在升级到React16.3.2之后,我想将我们所有即将弃用的生命周期方法重命名为它们的UNSAFE_等价物。但是我注意到UNSAFE_componentWillReceiveProps根本没有被调用。当我将其改回componentWillReceiveProps时,它会起作用。任何想法为什么?classChartextendsReact.Component{chartContainer:SVGS

随机推荐