ChatGPT、GPT-4的火爆，让大型语言模型迎来了迄今为止的高光时刻。但下一步又该往何处去？YannLeCun最近参与的一项研究指出，增强语言模型或许是个极具潜力的方向。这是一篇综述文章，本文将简单介绍该论文的主要内容。研究背景大型语言模型极大地推动了自然语言处理的进步，相关技术造就了几个拥有数百万用户的产品，包括编码助手Copilot，谷歌搜索引擎以及最近大火的ChatGPT。将记忆与组合性功能相结合后，大型语言模型能够以超前的性能执行各种任务，如语言理解或条件和无条件文本生成，从而让更高带宽的人机交互成为现实。然而，大型语言模型依旧存在一些限制，妨碍其进行更广泛的部署。大型语言模型通常
ChatGPT、GPT-4的火爆，让大型语言模型迎来了迄今为止的高光时刻。但下一步又该往何处去？YannLeCun最近参与的一项研究指出，增强语言模型或许是个极具潜力的方向。这是一篇综述文章，本文将简单介绍该论文的主要内容。研究背景大型语言模型极大地推动了自然语言处理的进步，相关技术造就了几个拥有数百万用户的产品，包括编码助手Copilot，谷歌搜索引擎以及最近大火的ChatGPT。将记忆与组合性功能相结合后，大型语言模型能够以超前的性能执行各种任务，如语言理解或条件和无条件文本生成，从而让更高带宽的人机交互成为现实。然而，大型语言模型依旧存在一些限制，妨碍其进行更广泛的部署。大型语言模型通常
一夜之间，大模型界又炸出个bignews！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元用OpenAI的API来生成的。所以整个过程下来，就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。然后团队还说，用大多数云计算平台去微调训练好的模型，成本也不到100美元：复制一个GPT-3.5效果的AI，很便宜
一夜之间，大模型界又炸出个bignews！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元用OpenAI的API来生成的。所以整个过程下来，就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。然后团队还说，用大多数云计算平台去微调训练好的模型，成本也不到100美元：复制一个GPT-3.5效果的AI，很便宜
大型语言模型最为人诟病的缺点，除了一本正经地胡言乱语以外，估计就是「不会算数」了。比如一个需要多步推理的复杂数学问题，语言模型通常都无法给出正确答案，即便有「思维链」技术的加持，往往中间步骤也会出错。与文科类的自然语言理解任务不同，数学问题通常只有一个正确答案，在不那么开放的答案范围下，使得生成准确解的任务对大型语言模型来说更具挑战性。并且，在数学问题上，现有的语言模型通常不会对自己的答案提供置信度（confidence），让用户无从判断生成答案的可信度。为了解决这个问题，微软研究院提出了MathPrompter技术，可以提高LLM在算术问题上的性能，同时增加对预测的依赖。论文链接：https
大型语言模型最为人诟病的缺点，除了一本正经地胡言乱语以外，估计就是「不会算数」了。比如一个需要多步推理的复杂数学问题，语言模型通常都无法给出正确答案，即便有「思维链」技术的加持，往往中间步骤也会出错。与文科类的自然语言理解任务不同，数学问题通常只有一个正确答案，在不那么开放的答案范围下，使得生成准确解的任务对大型语言模型来说更具挑战性。并且，在数学问题上，现有的语言模型通常不会对自己的答案提供置信度（confidence），让用户无从判断生成答案的可信度。为了解决这个问题，微软研究院提出了MathPrompter技术，可以提高LLM在算术问题上的性能，同时增加对预测的依赖。论文链接：https
昨天，百度没有现场demo的发布会，似乎被群嘲了一波。一位穿白衬衣、黑裤子，系一条白色腰带的美男子，给我们带来了一场中规中矩、似乎缺乏亮点的演示。不过，CEO的腰带和颜值倒是出了圈。有人调侃，这些天被ChatGPT、GPT-4整焦虑的人，发布会后忽然又觉得自己可以了。但是拿到内测码的小编，火速测评了一波。看着文心一言洋洋洒洒腾蛟起凤，感慨万千：或许，当时百度要是心一横，牙一咬，愿意在发布会上露一手，结果会大不一样。实测报告火热出炉！先来试试最近很火的一道鸡兔同笼题。因为这道题本身有问题，算出来结果是负的，所以经常被用来调戏各种「ChatGPT」们。如果只是单纯问这个问题，文心一言会非常机智地
昨天，百度没有现场demo的发布会，似乎被群嘲了一波。一位穿白衬衣、黑裤子，系一条白色腰带的美男子，给我们带来了一场中规中矩、似乎缺乏亮点的演示。不过，CEO的腰带和颜值倒是出了圈。有人调侃，这些天被ChatGPT、GPT-4整焦虑的人，发布会后忽然又觉得自己可以了。但是拿到内测码的小编，火速测评了一波。看着文心一言洋洋洒洒腾蛟起凤，感慨万千：或许，当时百度要是心一横，牙一咬，愿意在发布会上露一手，结果会大不一样。实测报告火热出炉！先来试试最近很火的一道鸡兔同笼题。因为这道题本身有问题，算出来结果是负的，所以经常被用来调戏各种「ChatGPT」们。如果只是单纯问这个问题，文心一言会非常机智地
一觉醒来，斯坦福大模型Alpaca火了。没错，Alpaca是由Meta的LLaMA7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。具体花费如下：在8个80GBA100上训练了3个小时，不到100美元；生成数据使用OpenAI的API，500美元。斯坦福大学计算机科学副教授PercyLiang称，由于缺乏透明度/无法完全访问像GPT3.5这样的有能力的指令模型，进而限制了这一重要领域的学术研究。我们在Alpaca（LLaMA7B+text-davinci-003）上迈出了一小步。看到又有人在自家大模型上取得了新的成果，YannLeCun疯狂
一觉醒来，斯坦福大模型Alpaca火了。没错，Alpaca是由Meta的LLaMA7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。具体花费如下：在8个80GBA100上训练了3个小时，不到100美元；生成数据使用OpenAI的API，500美元。斯坦福大学计算机科学副教授PercyLiang称，由于缺乏透明度/无法完全访问像GPT3.5这样的有能力的指令模型，进而限制了这一重要领域的学术研究。我们在Alpaca（LLaMA7B+text-davinci-003）上迈出了一小步。看到又有人在自家大模型上取得了新的成果，YannLeCun疯狂
