草庐IT

谁发表了最具影响力的AI研究？谷歌遥遥领先，OpenAI成果转化率完胜DeepMind

机器之心 2023-03-28 原文
谁在发表最具影响力的 AI 研究？在如今「百花齐放」的时代，这个问题极具挖掘空间。

你可能会猜到一些结论：比如谷歌、微软、OpenAI、DeepMind 这些顶级机构，类似这样的结论只猜对了一半，还有另外一些信息，向我们揭露了原本不为人知的结论。

随着 AI 创新的飞速发展，尽快获取一些「情报」是至关重要的。毕竟几乎没人有时间去阅读所有的东西，但可以肯定的是，本文整理的这些论文具备改变人工智能技术发展方向的潜力。

对研发团队影响力的真正考验当然是技术如何落地在产品中，OpenAI 在 2022 年 11 月底发布了 ChatGPT，震撼了整个领域，这是继他们 2022 年 3 月的论文「利用人类反馈训练遵循指令的语言模型」（Training language models to follow instructions with human feedback）之后的又一次突破。

如此迅速的产品落地是罕见的。所以，为了洞察到更多信息，近日，Zeta Alpha 的统计采用了一个经典的学术指标：引用次数。

对 2022 年、2021 年和 2020 年每年被引用次数最多的 100 篇论文的详细分析，可以深入了解目前发表最具影响力的 AI 研究的机构和国家 / 地区。一些初步结论是：美国和谷歌仍然占主导地位，DeepMind 在这一年也取得了辉煌的成就，但考虑到产出量，OpenAI 在产品影响和研究方面确实处于前列，并能快速和广泛地被引用。

资料来源：Zeta Alpha。

如上图所示，另外一个重要结论是：中国在研究引用量上的影响力排行第二，但与美国相比仍存在差距，并不像很多报道中描述的那样「追平甚至超越」。

利用来自 Zeta Alpha 平台的数据，然后结合人工策划，本文收集了 2022 年、2021 年和 2020 年人工智能领域被引用次数最多的论文，并分析了作者的所属机构和国家 / 地区。这使得能够按照研发影响而不是纯粹的出版数据对这些论文进行排名。

为了创建分析结果，本文首先在 Zeta Alpha 平台上收集了每年被引用次数最多的论文，然后手动检查首次发表日期（通常是 arXiv 预印本），以便将论文放在正确的年份中。然后通过在 Semantic Scholar 上挖掘高引用率的人工智能论文来补充这个名单，因为 Semantic Scholar 的覆盖面更广，而且能够按引用次数排序。这主要是发现了来自高影响力的出版商（如 Nature、Elsevier、Springer 和其他期刊）之外的论文。然后，将每篇论文在谷歌学术上的引用次数作为代表指标，并按这个数字对论文进行排序，得出一年中的前 100 名。对于这些论文，本文使用了 GPT-3 来提取作者、隶属机构和国家 / 地区，并手动检查这些结果（如果国家 / 地区在出版物中不明显，就采用该组织总部所在的国家 / 地区）。如果一篇论文有来自多个机构的作者，每个机构算一次。

看了这份排行榜之后，大佬 Yann LeCun 表示很欣慰：「在 Meta AI，我们倾向于出版质量而不是数量。这就是为什么在 2022 年被引用最多的 100 篇人工智能论文中，Meta AI 撰写（或共同撰写）了 16 篇，仅次于谷歌的 22 篇，排名第二。我们的研究正在对社会产生巨大的影响。(此外，纽约大学的排名也很赞）。」

所以，刚才谈论的这些 Top 论文有哪些？

在深入了解这些数字之前，让我们先了解一下过去三年的热门论文。相信你会认出其中的几篇。

2022 年热门论文

1、AlphaFold Protein Structure Database: massively expanding the structural coverage of protein-sequence space with high-accuracy models ​

  • 论文链接：https://academic.oup.com/nar/article/50/D1/D439/6430488
  • 机构：DeepMind
  • 引用次数：1372
  • 主题：Using AlphaFold to augment protein structure database coverage.
2、ColabFold: making protein folding accessible to all​

  • 论文链接：https://www.nature.com/articles/s41592-022-01488-1
  • 引用次数：1162
  • 主题：An open-source and efficient protein folding model.
3、Hierarchical Text-Conditional Image Generation with CLIP Latents ​

  • 论文链接：https://arxiv.org/abs/2204.06125
  • 机构：OpenAI
  • 引用次数：718
  • 主题：DALL・E 2, complex prompted image generation that left most in awe
4、A ConvNet for the 2020s ​

  • 论文链接：https://arxiv.org/abs/2201.03545
  • 机构：Meta，UC 伯克利
  • 引用次数：690
  • 主题：A successful modernization of CNNs at a time of boom for Transformers in Computer Vision
5、PaLM: Scaling Language Modeling with Pathways​

  • 论文链接：https://arxiv.org/abs/2204.02311
  • 机构：谷歌
  • 引用次数：452
  • 主题：Google's mammoth 540B Large Language Model, a new MLOps infrastructure, and how it performs

2021 年热门论文

1、《Highly accurate protein structure prediction with AlphaFold》​

  • 论文链接：https://www.nature.com/articles/s41586-021-03819-2
  • 机构：DeepMind
  • 引用次数：8965
  • 主题：AlphaFold, a breakthrough in protein structure prediction using Deep Learning
2、《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》​

  • 论文链接：https://arxiv.org/abs/2103.14030
  • 机构：微软
  • 引用次数：4810
  • 主题：A robust variant of Transformers for Vision
3、《Learning Transferable Visual Models From Natural Language Supervision》

  • 论文链接：https://arxiv.org/abs/2103.00020
  • 机构：OpenAI
  • 引用次数：3204
  • 主题：CLIP, image-text pairs at scale to learn joint image-text representations in a self supervised fashion
4、《On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?》​

  • 论文链接：https://dl.acm.org/doi/10.1145/3442188.3445922
  • 机构：U. Washington, Black in AI, The Aether
  • 引用次数：1266
  • 主题：Famous position paper very critical of the trend of ever-growing language models, highlighting their limitations and dangers
5、《Emerging Properties in Self-Supervised Vision Transformers》​

  • 论文链接：https://arxiv.org/pdf/2104.14294.pdf
  • 机构：Meta
  • 引用次数：1219
  • 主题：DINO, showing how self-supervision on images led to the emergence of some sort of proto-object segmentation in Transformers

2020 年热门论文

1、《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》​

  • 论文链接：https://arxiv.org/abs/2010.11929
  • 机构：谷歌
  • 引用次数：11914
  • 主题：The first work showing how a plain Transformer could do great in Computer Vision
2、《Language Models are Few-Shot Learners》​

  • 论文链接：https://arxiv.org/abs/2005.14165
  • 机构：OpenAI
  • 引用次数：8070
  • 主题：This paper does not need further explanation at this stage
3、《YOLOv4: Optimal Speed and Accuracy of Object Detection》​

  • 论文链接：https://arxiv.org/abs/2004.10934
  • 机构：Academia Sinica, Taiwan
  • 引用次数：8014
  • 主题：Robust and fast object detection sells like hotcakes
4、《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》​

  • 论文链接：https://arxiv.org/abs/1910.10683
  • 机构：谷歌
  • 引用次数：5906
  • 主题：A rigorous study of transfer learning with Transformers, resulting in the famous T5
5、《Bootstrap your own latent: A new approach to self-supervised Learning》​

  • 论文链接：https://arxiv.org/abs/2006.07733
  • 机构：DeepMind，Imperial College
  • 引用次数：2873
  • 主题：Showing that negatives are not even necessary for representation learning

领先机构排行​

让我们来看看一些领先的机构在前 100 名的论文数量上是如何排行的：

谷歌一直是最强大的参与者，其次是 Meta、微软、加州大学伯克利分校、DeepMind 和斯坦福。虽然如今的工业界在人工智能研究中「呼风唤雨」，单一的学术机构不会产生那么大的影响，但这些机构的尾巴要长得多，所以当我们按组织类型进行汇总时，就会达到平衡。

在研究总量方面，过去三年谷歌居首位，清华大学、卡耐基梅隆大学、麻省理工学院、斯坦福大学等高校排名靠前，而微软位居第三位。整体来看，学术机构的研究数量是要多于业界科技企业的，而谷歌、微软这两大科技巨头近三年发表的研究数也是居于高位。

实际上，谷歌的科研实力一直很强。2017 年，谷歌发表论文《Attention Is All You Need》，标志着 transformer 的问世。直到今天，transformer 依然是包括 ChatGPT 在内的大部分 NLP 和 CV 模型的架构基础。

上个月，在 Bard 发布之际，谷歌 CEO Sundar Pichai 也在一份公开信中表示：「Google AI 和 DeepMind 推动了最先进技术的发展。我们的 Transformer 研究项目和我们 2017 年的领域论文，以及我们在扩散模型方面的重要进展，是当前许多生成式 AI 应用程序的基础。」

当然，作为新晋顶流 ChatGPT 背后的公司，OpenAI 近三年的研究成果转化率（Conversion Rate）是具有绝对优势的。最近几年，OpenAI 的大多数研究成果都引起了极大的关注，特别是在大规模语言模型方面。

2020 年，OpenAI 发布了 GPT-3，这个 1750 亿参数的大规模语言模型在一定程度上颠覆了语言模型领域的游戏规则，因为它解决了许多大规模语言模型中的难题。GPT-3 掀起了一场大规模语言模型的狂潮。几年来，语言模型的参数规模不断被打破，人们一直在探索大规模语言模型的更多潜力。

2022 年底，ChatGPT 横空出世，它引起了人们对文本生成和 AI 对话系统的高度关注。特别地，ChatGPT 在生成知识型内容和生成代码方面已经表现出非常高的能力。在谷歌、微软陆续宣布将类似 ChatGPT 的功能集成到下一代搜索引擎后，ChatGPT 被认为将引领一场 AIGC 和智能工具的新变革。

最后，我们来看一下 2022 年被引用次数最多的 100 篇论文具体有哪些：

此处还增加了推特提及次数，这有时被视为早期影响指标。但到目前为止，相关性似乎很弱。还需要进一步的工作。

转化率遥遥领先spanstylefont-size人工智能新闻$论文谷歌

有关谁发表了最具影响力的AI研究？谷歌遥遥领先，OpenAI成果转化率完胜DeepMind的更多相关文章

  1. 未来的趋势————以ChatGPT为标杆的AI对生活的影响是巨大的 - 2

    文章目录前言1.AI的发展历程2.我是如何接触到人工智能的概念和产品的3.对于ChatGPT的一点看法4.AI对大学毕业生的职业发展的利与弊5.对于AI的思考和问题前言随着ChatGPT的爆火，生成式AI，大模型的人工智能被越来越多的人注意到，同时他也带来了许多问题。本文将对几方面进行探讨。1.AI的发展历程远古时期在公元前第一个千禧年，中国，印度和希腊哲学家都提出了一些推理的研究理论，比如亚里士多德（Aristotle）进行了演绎推理三段论的完整分析，欧几里得（Euclid）所著Elements是一种形式推理的模型，MuḥammadibnMūsāal-Khwārizmī,发明了代数学，即我们

  2. 焕新古文化传承之路，AI为古彝文识别赋能 - 2

    目录1古彝文与古典保护2古文识别的挑战2.1西文与汉文OCR2.2古彝文识别难点3合合信息：古彝文保护新思路3.1图像矫正3.2图像增强3.3语义理解3.4工程技巧4总结1古彝文与古典保护彝文指的是云南、贵州、四川等地的彝族人使用的文字，区别于现代意义上的彝文，古彝文指的是在民间流通使用的原生态彝文，多达87046字。古彝文的起源距今至少数千年，是世界上最古老的文字之一。对古彝文字集研究有助于理解尚未被翻译成汉文、用字尚未规范化的古籍，更深层、透彻地作用于传统文化保护。古彝文字义对照图（网络资料+邵文苑供图）古籍是不可再生的宝贵资源，应当得到妥善保护。中国的古籍在历史上迭经水火兵燹等自然灾害、

  3. 「认识AI：人工智能如何赋能商业」【04】机器学习的商业应用 - 2

    作者|Harper审核 |gongyouliu编辑|auroral-L机器学习的商业应用上期给大家介绍了机器学习的概念，但是理解机器学习最好方法之一，就是了解其在具体商业世界中的各种应用。在道格’罗斯的这本《认识AI，人工智能赋能商业》中，介绍了几类机器学习的商业应用，在这里我给大家归纳一下。第一，数据安全，为了避免被发现，制造恶意软件的人会不断更改代码，通常为2%~10%的修改，但是通过机器学习，安全软件可以适应这一小部分变化，并准确识别新创建的恶意软件。它还可以寻找访问方式的模式，以识别可能的安全威胁。第二，投资。机器学习使得计算机能够处理大量的财务数据，并利用其发现的规律预测市场及每只股

  4. 基于ChatGPT的智能问答、ai绘图微信小程序思路 - 2

    ChatGPT![在这里插入图片描述](https://img-blog.csdnimg.cn/186d9ecc453b48be9f19c467da7c3f07.jpegChatGPT是openai公司的一个人工智能机器人产品，目前已经升级到4.0版本。其因便捷高效，已经在大学生、IT届、科研界等领域广为流传。但是直接进入其官网使用有时候并不是那么方便，毕竟他不开放给中国用户使用，我们需要一些魔法才能用上。如果做成一个微信小程序随时随地打开就能用的话，会方便很多。正好openai官方也开放了api供开发者使用。我们可以进入openai官网https://platform.openai.com/

  5. AI 芯片的简要发展历史 - 2

    随着人工智能领域不断取得突破性进展。作为实现人工智能技术的重要基石，AI芯片拥有巨大的产业价值和战略地位。作为人工智能产业链的关键环节和硬件基础，AI芯片有着极高的技术研发和创新的壁垒。从芯片发展的趋势来看，现在仍处于AI芯片发展的初级阶段。未来将是AI芯片发展的重要阶段，无论是架构还是设计理念都存在着巨大的创新空间。一、芯片的发展历史1956年达特茅斯会议上，科学家约翰·麦卡锡，克劳德·香农和马文·明斯基提出了"人工智能"一词。50年代末，阿瑟·萨缪尔（ArthurSamuel）提出了"机器学习"这个术语，他开发了一个西洋跳棋程序，可以从错误中吸取教训，经过学习后，甚至比编写程序的人棋力更强

  6. Javascript 和 AI，事实还是虚构？ - 2

    很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈，无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开，visitthehelpcenter.关闭11年前。在电视上我看到了一些有趣的机器人。这些有一些二极管、太阳能收集器和一些马达。二极管决定光的位置，因此它们将机器人转向为它提供光的方向。它有点跟随光。现在，基于此，我想知道一些简单的AI。有没有办法编写一个可以从用户交互中学习的引擎？作为初学者，只学习和记住用户在页面上的session就足够了。感谢任何帮助。

  7. javascript - 如何实现 Facebook 转化跟踪 onclick 或当没有单独的 'Thank you' 页面时 - 2

    尝试在Facebook选项卡中实现Facebook转化跟踪。您可以在此处查看页面http://www.facebook.com/StChristophersFellowship/app_366591783429546问题是提交表单后不会运行单独的页面。我可以让一段javascript运行但只单击提交按钮吗，我认为它也被注入(inject)到HTML文档的头部。我找到了从链接或点击运行Javascript的答案-如果我从单独的JS文档调用跟踪/转换代码，此方法是否有效？如有任何帮助，我们将不胜感激-谢谢!“我必须同意上面的评论，你不能调用一个文件，但你可以像这样加载一个JS文件，我不确定

  8. Unity2d自动寻路（AI插件） - 2

    插件网址指路：A*PathfindingProjecthttps://arongranberg.com/astar/download3D如何简单的使用参见：A*Pathfinding插件(3D)_作孽就得先起床的博客-CSDN博客将下载好的插件导入后如何进行操作？新建一个空的CreatEmpty给它另取个名字接着添加组件接着输"path"选择第一个“Pathfinder” 选择后点击“Graphs”（图）选择第一个在打开时可能会发生折叠，点开“GridGraph”就好下面开始操作：1、勾选‘2D’2、到场景中调整覆盖区域大小，限制Ai追踪的范围 也可用边框的这里进行调整3、勾选“Use2DPh

  9. VideoMAE：南大MCG&腾讯AI Lab 提出第一个视频版MAE框架，使用90%甚至95%遮挡，性能SOTA！... - 2

    关注公众号，发现CV技术之美本文分享论文『VideoMAE:MaskedAutoencodersareData-EfficientLearnersforSelf-SupervisedVideoPre-Training』，由南大王利民团队提出第一个VideoMAE框架，使用超高maskingratio（90%-95%），性能SOTA，代码已开源！详细信息如下：论文链接：https://arxiv.org/abs/2203.12602项目链接：https://github.com/MCG-NJU/VideoMAE    01     摘要为了在相对较小的数据集上实现卓越的性能，通常需要在超大规模数据

  10. 哪个AI绘画软件好用？接着看下去吧我告诉你 - 2

    这几年AI绘画非常的流行，相信大家平时在浏览社交平台时，也经常看见别人发布出来的绘图作品。AI绘画不仅可以帮助许多没有绘画基础的朋友可以画出自己的作品，而且可玩性也非常的高。那大家想体验一下AI绘画的乐趣吗？如果想的话就接着看下去吧，我来告诉你智能AI绘画免费软件有哪些。推荐软件一：Styler手机端推荐理由：Styler是我个人比较喜欢使用的软件，它拥有漫画脸、卡通艺术滤镜、视频变漫画等多种特效可以使用，而且软件的AI绘图功能使用了前沿的技术，绘画出来的内容符合逻辑，不会产生太大的违和感。使用体验感：①它支持上传参考图给AI学习模仿，可以帮助大家绘画出自己想要的图案。②这个软件使用了前沿的技

随机推荐