自从Meta发布「开源版ChatGPT」LLaMA之后，学界可谓是一片狂欢。先是斯坦福提出了70亿参数Alpaca，紧接着又是UC伯克利联手CMU、斯坦福、UCSD和MBZUAI发布的130亿参数Vicuna，在超过90%的情况下实现了与ChatGPT和Bard相匹敌的能力。今天，「卷王」UC伯克利LMSysorg又发布了70亿参数的Vicuna——不仅体积小、效率高、能力强，而且只需两行命令就能在M1/M2芯片的Mac上运行，还能开启GPU加速！项目地址：https://github.com/lm-sys/FastChat/#fine-tuning恰在今天，HuggingFace的研究人员也
继Meta的LLaMA模型开源后，AI界研究人员就在这个模型基础上衍生出许多版本。前段时间，斯坦福发布了Alpaca，是由Meta的LLaMA7B微调而来，仅用了52k数据，性能可以与GPT-3.5匹敌。今天，斯坦福学者联手CMU、UC伯克利等，再次推出一个全新模型——130亿参数的Vicuna，俗称「小羊驼」（骆马）。Vicuna是通过在ShareGPT收集的用户共享对话上对LLaMA进行微调训练而来，训练成本近300美元。研究人员设计了8个问题类别，包括数学、写作、编码，对Vicuna-13B与其他四个模型进行了性能测试。测试过程使用GPT-4作为评判标准，结果显示Vicuna-13B在超
继Meta的LLaMA模型开源后，AI界研究人员就在这个模型基础上衍生出许多版本。前段时间，斯坦福发布了Alpaca，是由Meta的LLaMA7B微调而来，仅用了52k数据，性能可以与GPT-3.5匹敌。今天，斯坦福学者联手CMU、UC伯克利等，再次推出一个全新模型——130亿参数的Vicuna，俗称「小羊驼」（骆马）。Vicuna是通过在ShareGPT收集的用户共享对话上对LLaMA进行微调训练而来，训练成本近300美元。研究人员设计了8个问题类别，包括数学、写作、编码，对Vicuna-13B与其他四个模型进行了性能测试。测试过程使用GPT-4作为评判标准，结果显示Vicuna-13B在超
一觉醒来，斯坦福大模型Alpaca火了。没错，Alpaca是由Meta的LLaMA7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。具体花费如下：在8个80GBA100上训练了3个小时，不到100美元；生成数据使用OpenAI的API，500美元。斯坦福大学计算机科学副教授PercyLiang称，由于缺乏透明度/无法完全访问像GPT3.5这样的有能力的指令模型，进而限制了这一重要领域的学术研究。我们在Alpaca（LLaMA7B+text-davinci-003）上迈出了一小步。看到又有人在自家大模型上取得了新的成果，YannLeCun疯狂
一觉醒来，斯坦福大模型Alpaca火了。没错，Alpaca是由Meta的LLaMA7B微调而来的全新模型，仅用了52k数据，性能约等于GPT-3.5。关键是训练成本奇低，不到600美元。具体花费如下：在8个80GBA100上训练了3个小时，不到100美元；生成数据使用OpenAI的API，500美元。斯坦福大学计算机科学副教授PercyLiang称，由于缺乏透明度/无法完全访问像GPT3.5这样的有能力的指令模型，进而限制了这一重要领域的学术研究。我们在Alpaca（LLaMA7B+text-davinci-003）上迈出了一小步。看到又有人在自家大模型上取得了新的成果，YannLeCun疯狂
距离ChatGPT的最初发布，过去差不多四个月的时间了。就在上星期GPT-4发布时，ChatGPT第一时间上线了新版本。不过众所周知的一个秘密是，不管是ChatGPT还是GPT-4都不大可能开源。加上巨大的算力投入以及海量的训练数据等，都为研究界复制其实现过程设下重重关卡。面对ChatGPT等大模型的来势汹汹，开源平替是一个不错的选择。本月初，Meta「开源」了一个新的大模型系列——LLaMA（LargeLanguageModelMetaAI），参数量从70亿到650亿不等。130亿参数的LLaMA模型「在大多数基准上」可以胜过参数量达1750亿的GPT-3，而且可以在单块V100GPU上运行
距离ChatGPT的最初发布，过去差不多四个月的时间了。就在上星期GPT-4发布时，ChatGPT第一时间上线了新版本。不过众所周知的一个秘密是，不管是ChatGPT还是GPT-4都不大可能开源。加上巨大的算力投入以及海量的训练数据等，都为研究界复制其实现过程设下重重关卡。面对ChatGPT等大模型的来势汹汹，开源平替是一个不错的选择。本月初，Meta「开源」了一个新的大模型系列——LLaMA（LargeLanguageModelMetaAI），参数量从70亿到650亿不等。130亿参数的LLaMA模型「在大多数基准上」可以胜过参数量达1750亿的GPT-3，而且可以在单块V100GPU上运行
