大型语言模型（LLM）是基于大量数据进行预训练的超大型深度学习模型。底层转换器是一组神经网络，这些神经网络由具有自注意力功能的编码器和解码器组成。编码器和解码器从一系列文本中提取含义，并理解其中的单词和短语之间的关系。通过此过程，转换器可学会理解基本的语法、语言和知识。借助转换器神经网络架构，人们可以使用非常大规模的模型，其中通常具有数千亿个参数。这种大规模模型可以摄取通常来自互联网的大量数据，但也可以从包含500多亿个网页的CommonCrawl和拥有约5700万个页面的Wikipedia等来源摄取数据。一般来讲，LLM主要是在已有的知识库上进行学习，然后通过阅读、理解、写作和编码来帮助人们
摘要在过去的几年里，自然语言处理领域得到了深度学习模型应用激增的推动。本文简要介绍了该领域，并对深度学习的架构和方法进行了快速概述。接着，文章查阅了大量的最新研究，并总结了许多相关的贡献。分析的研究领域包括一些核心的语言处理问题，以及计算语言学的许多应用。接下来提供了对当前技术水平的讨论，并对未来研究提出了建议。引言自然语言处理（NLP）涵盖了多个主题，涉及对人类语言进行计算处理和理解。自20世纪80年代以来，该领域越来越多地依赖于涉及统计学、概率和机器学习的数据驱动计算[1]，[2]。近年来，计算能力和并行化的增加，利用图形处理单元（GPU）[3]，[4]，现在允许进行“深度学习”，这使用人
ChatGPT大模型爆火这一年，没想到竟颠覆了整个化学领域。先是谷歌DeepMind的AI工具GNoME成功预测出200万种晶体结构，随后微软推出的MatterGen，大大加速了设计所需材料特性的速度。今天，CMU和EmeraldCloudLab的研究团队开发了一种全新自动化AI系统——Coscientist，荣登Nature。它可以设计、编码和执行多种反应，完全实现了化学实验室的自动化。图片实验评测中，Coscientist利用GPT-4，在人类的提示下检索化学文献，成功设计出一个反应途径来合成一个分子。GPT-4遍历整个互联网上的说明书，并选择数据库中最好的试剂盒和试剂，在现实中制造分子。
你有没有想过，可能就在你阅读这篇文章的几分钟内，获得诺贝尔奖的化学反应就能被完美复刻出来。是的，你没有听错，现在由AI驱动的系统已经能够自主了解这些化学反应，甚至设计出了实验室程序来制造它们。人工智能在短短几分钟内就完成了这一切，并且一次尝试就成功了。“这是第一次非有机智能计划、设计和执行人类发明的复杂反应。”卡内基梅隆大学化学家兼化学工程师GabeGomes表示，他领导了组装和测试基于人工智能的系统的研究团队。他们将该AI命名为Coscientist。而Coscientist实现的复杂反应在有机化学中被称为钯催化交叉偶联，该反应为美国化学家RichardFredHeck与两位日本化学家Ei-
在开放、高动态和演化环境中的学习能力是生物智能的核心要素之一，也是人类以及大多数动物在「适者生存」的自然选择过程中形成的重要优势。目前传统机器学习范式是在静态和封闭的数据集上学习到一个模型，并假设其应用环境和之前训练数据的属性相同，因而无法适应动态开放环境的挑战。针对该问题，持续学习模拟生物智能的学习过程和学习能力，发展新型的机器学习理论和方法，通过持续学习的过程，以期提升智能体对开放、高动态环境的适应能力。但是，目前主流的机器学习模型通过调整网络参数进行学习，当学习任务的数据分布发生变化时，先前学到的网络参数可能被覆盖，从而导致对先前知识的灾难性遗忘（catastrophicforgetti
用大模型解决困扰数学家60多年的问题，谷歌DeepMind最新成果再登Nature。作者之一、谷歌DeepMind研究副总裁PushmeetKohli表示：训练数据中不会有这个方案，它之前甚至根本不为人类所知。这项技术名为FunSearch，其中的Fun是函数（Function）一词的简写。利用大模型解决长期存在的科学难题，产生以前不存在的可验证且有价值*的新信息。在Nature论文配套的新闻解读中，DeepMind负责人称“我们使用大模型的方式是当做创造力引擎”。这是第一次有人证明基于大模型的系统可以超越数学家和计算机科学家的认知。它不仅新颖，而且比当今存在的任何其他东西都更有效。针对这项成
上限集问题，是困扰数学家们多年的开放性问题。著名数学家陶哲轩，就曾将上限集问题描述为自己最喜欢的开放性问题。陶哲轩博客而大语言模型，竟然在这个问题上做出了新发现。今天，GoogleDeepMind、威斯康星大学麦迪逊分校和里昂大学的研究人员联手提出全新方法——FunSearch，竟首次利用LLM发现数学科学中的开放问题！AI通过搜索计算机代码编写的「函数」，因此得名FunSearch。论文地址：https://www.nature.com/articles/s41586-023-06924-6简单来说，FunSearch将预训练的LLM与自动「评估器」配对使用。前者的目标是以计算机代码的形式提
美国可控核聚变实验，四次实现净能量增益！去年12月14日，劳伦斯利弗莫尔国家实验室（LLNL）首次实现可控核聚变点火成功，为全人类摘下清洁能源「圣杯」——在向目标提供2.05兆焦耳（MJ）的能量之后，产生了3.15兆焦耳的核聚变能量输出，能量增益约为1.5。2023年7月30日，实验室首次实现3.88兆焦耳的输出能量，创下历史最高。10月30日，实验室再刷记录——输入能量首次达到2.2兆焦。同时，3.4兆焦耳的输出能量也位列第二。面对一次又一次的成功「点火」，Nature也激动地发文表示——激光核聚变即将进入一个全新的时代。可以想象，当可控核聚变最终实现时，人类将有可能史上首次获取海量无碳清洁
作为今年AI圈的顶流，大型语言模型（LLM）擅长的是组合概念，并且可以通过阅读、理解、写作和编码来帮助人们解决问题。但它们能发现全新的知识吗？由于LLM已被证明存在「幻觉」问题，即生成与事实不符的信息，因此利用LLM来做可验证的正确发现是一项挑战。现在，来自GoogleDeepMind的研究团队提出了一种为数学和计算机科学问题搜索解决方案的新方法——FunSearch。FunSearch的工作原理是将预训练的LLM（以计算机代码的形式提供创造性解决方案）与自动「评估器」配对，以防止产生幻觉和错误思路。通过在这两个组件之间来回迭代，最初的解决方案演变成了「新的知识」。相关论文发表在《自然》杂志上
人脑作为地球上最复杂的智能载体，一个最大的特点就是能高能效地产生智能。如果能尽可能按照人脑的工作原理来创建AI系统，将会大大提高AI的工作效率，大幅降低能耗。最近，剑桥大学做了这么项研究，就是想找到一个条路径，让AI系统复制人脑。论文地址：https://www.cam.ac.uk/research/news/ai-system-self-organises-to-develop-features-of-brains-of-complex-organisms直译过来就是——AI系统自我组织，生成了一系列人脑的特征，甚至还有各种复杂的组织。AI仿真大脑大脑大家都不陌生，里面有很多神经系统和组织。
