随着大规模语言模型的日渐强大，人们对AI模型提出了伦理道德方面的更高要求。业界在模型规模扩展方面具有算力资源优势，但要想让模型更规范、可靠，需要学术界的努力。近日，斯坦福基于Meta的LLaMA7B模型微调出一个新模型Alpaca。该研究让OpenAI的text-davinci-003模型以self-instruct方式生成52K指令遵循（instruction-following）样本，以此作为Alpaca的训练数据。研究团队已将训练数据、生成训练数据的代码和超参数开源，后续还将发布模型权重和训练代码。项目地址：https://github.com/tatsu-lab/stanford_al
一夜之间，大模型界又炸出个bignews！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元用OpenAI的API来生成的。所以整个过程下来，就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。然后团队还说，用大多数云计算平台去微调训练好的模型，成本也不到100美元：复制一个GPT-3.5效果的AI，很便宜
一夜之间，大模型界又炸出个bignews！斯坦福发布Alpaca（羊驼，网友口中的“草泥马”）：只花100美元，人人都可微调Meta家70亿参数的LLaMA大模型，效果竟可比肩1750亿参数的GPT-3.5（text-davinci-003）。而且还是单卡就能运行的那种，甚至树莓派、手机都能hold住！还有一个更绝的“骚操作”。研究所涉及到的数据集，是斯坦福团队花了不到500美元用OpenAI的API来生成的。所以整个过程下来，就等同于GPT-3.5自己教出了个旗鼓相当的对手AI。然后团队还说，用大多数云计算平台去微调训练好的模型，成本也不到100美元：复制一个GPT-3.5效果的AI，很便宜
一觉醒来，斯坦福大模型Alpaca火了。没错，Alpaca是由Meta的LLaMA7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。具体花费如下：在8个80GBA100上训练了3个小时，不到100美元；生成数据使用OpenAI的API，500美元。斯坦福大学计算机科学副教授PercyLiang称，由于缺乏透明度/无法完全访问像GPT3.5这样的有能力的指令模型，进而限制了这一重要领域的学术研究。我们在Alpaca（LLaMA7B+text-davinci-003）上迈出了一小步。看到又有人在自家大模型上取得了新的成果，YannLeCun疯狂
一觉醒来，斯坦福大模型Alpaca火了。没错，Alpaca是由Meta的LLaMA7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。具体花费如下：在8个80GBA100上训练了3个小时，不到100美元；生成数据使用OpenAI的API，500美元。斯坦福大学计算机科学副教授PercyLiang称，由于缺乏透明度/无法完全访问像GPT3.5这样的有能力的指令模型，进而限制了这一重要领域的学术研究。我们在Alpaca（LLaMA7B+text-davinci-003）上迈出了一小步。看到又有人在自家大模型上取得了新的成果，YannLeCun疯狂
果然，能打败昨天的OpenAI的，只有今天的OpenAI。刚刚，OpenAI震撼发布了大型多模态模型GPT-4，支持图像和文本的输入，并生成文本结果。号称史上最先进的AI系统！GPT-4不仅有了眼睛可以看懂图片，而且在各大考试包括GRE几乎取得了满分成绩，横扫各种benchmark，性能指标爆棚。OpenAI花了6个月的时间使用对抗性测试程序和ChatGPT的经验教训对GPT-4进行迭代调整，从而在真实性、可控性等方面取得了有史以来最好的结果。大家都还记得，2月初时微软和谷歌鏖战三天，2月8日微软发布ChatGPT必应时，说法是必应「基于类ChatGPT技术」。今天，谜底终于解开了——它背后的
果然，能打败昨天的OpenAI的，只有今天的OpenAI。刚刚，OpenAI震撼发布了大型多模态模型GPT-4，支持图像和文本的输入，并生成文本结果。号称史上最先进的AI系统！GPT-4不仅有了眼睛可以看懂图片，而且在各大考试包括GRE几乎取得了满分成绩，横扫各种benchmark，性能指标爆棚。OpenAI花了6个月的时间使用对抗性测试程序和ChatGPT的经验教训对GPT-4进行迭代调整，从而在真实性、可控性等方面取得了有史以来最好的结果。大家都还记得，2月初时微软和谷歌鏖战三天，2月8日微软发布ChatGPT必应时，说法是必应「基于类ChatGPT技术」。今天，谜底终于解开了——它背后的
距离ChatGPT的最初发布，过去差不多四个月的时间了。就在上星期GPT-4发布时，ChatGPT第一时间上线了新版本。不过众所周知的一个秘密是，不管是ChatGPT还是GPT-4都不大可能开源。加上巨大的算力投入以及海量的训练数据等，都为研究界复制其实现过程设下重重关卡。面对ChatGPT等大模型的来势汹汹，开源平替是一个不错的选择。本月初，Meta「开源」了一个新的大模型系列——LLaMA（LargeLanguageModelMetaAI），参数量从70亿到650亿不等。130亿参数的LLaMA模型「在大多数基准上」可以胜过参数量达1750亿的GPT-3，而且可以在单块V100GPU上运行
距离ChatGPT的最初发布，过去差不多四个月的时间了。就在上星期GPT-4发布时，ChatGPT第一时间上线了新版本。不过众所周知的一个秘密是，不管是ChatGPT还是GPT-4都不大可能开源。加上巨大的算力投入以及海量的训练数据等，都为研究界复制其实现过程设下重重关卡。面对ChatGPT等大模型的来势汹汹，开源平替是一个不错的选择。本月初，Meta「开源」了一个新的大模型系列——LLaMA（LargeLanguageModelMetaAI），参数量从70亿到650亿不等。130亿参数的LLaMA模型「在大多数基准上」可以胜过参数量达1750亿的GPT-3，而且可以在单块V100GPU上运行
loveisthemostpowerfulforcethereis,becauseithasnolimits.爱就是最强大的的力量，因为爱没有限制。Thisforceexplainseverythingandgivesmeaningtolife.Thisisthevariablethatwehaveignoredfortoolong,maybebecauseweareafraidoflovebecauseitistheonlyenergyintheuniversethatmanhasnotlearnedtodriveatwill.这个驱动力解释着一切，让我们的生命充满意义。这是一个我们已经忽略
