在广泛数据集上基于自监督学习的预训练基础模型，已经展现出将知识迁移到不同下游任务的优秀能力。因此，这些模型也被应用到长期推理、控制、搜索和规划等更复杂的问题，或者被部署在对话、自动驾驶、医疗保健和机器人等应用中。未来它们也会提供接口给外部实体和智能体，例如在对话应用中，语言模型与人进行多轮交流；在机器人领域，感知控制模型在真实环境中执行动作。这些场景为基础模型提出了新的挑战，包括：1)如何从外部实体（如人对对话质量的评价）的反馈中学习，2)如何适应大规模语言或视觉数据集中不常见的模态（如机器人动作），3)如何在未来进行长期的推理和规划。 这些问题一直是传统意义上顺序决策的核心，涵盖了强化学习、
前段时间，来自LMSYSOrg（UC伯克利主导）的研究人员搞了个大新闻——大语言模型版排位赛！这次，团队不仅带来了4位新玩家，而且还有一个（准）中文排行榜。OpenAIGPT-4OpenAIGPT-3.5-turboAnthropicClaude-v1RWKV-4-Raven-14B（开源）毫无疑问，只要GPT-4参战，必定是稳居第一。不过，出乎意料的是，Claude不仅超过了把OpenAI带上神坛的GPT-3.5位列第二，而且只比GPT-4差了50分。相比之下，排名第三的GPT-3.5只比130亿参数的最强开源模型Vicuna高了72分。而140亿参数的「纯RNN模型」RWKV-4-Rave
最近，来自LMSYSOrg（UC伯克利主导）的研究人员又搞了个大新闻——大语言模型版排位赛！顾名思义，「LLM排位赛」就是让一群大语言模型随机进行battle，并根据它们的Elo得分进行排名。然后，我们就能一眼看出，某个聊天机器人到底是「嘴强王者」还是「最强王者」。划重点：团队还计划把国内和国外的这些「闭源」模型都搞进来，是骡子是马溜溜就知道了！（GPT-3.5现在就已经在匿名竞技场里了）匿名聊天机器人竞技场长下面这样：很明显，模型B回答正确，拿下这局；而模型A连题都没读懂……项目地址：https://arena.lmsys.org/在当前的排行榜中，130亿参数的Vicuna以1169分稳居
3月31日，UC伯克利联手CMU、斯坦福、UCSD和MBZUAI，推出了130亿参数的Vicuna，俗称「小羊驼」（骆马），仅需300美元就能实现ChatGPT90%的性能。今天，团队正式发布了Vicuna的权重——只需单个GPU就能跑！项目地址：https://github.com/lm-sys/FastChat/#fine-tuning130亿参数，90%匹敌ChatGPTVicuna是通过在ShareGPT收集的用户共享对话上对LLaMA进行微调训练而来，训练成本近300美元。研究人员设计了8个问题类别，包括数学、写作、编码，对Vicuna-13B与其他四个模型进行了性能测试。测试过程
3月31日，UC伯克利联手CMU、斯坦福、UCSD和MBZUAI，推出了130亿参数的Vicuna，俗称「小羊驼」（骆马），仅需300美元就能实现ChatGPT90%的性能。今天，团队正式发布了Vicuna的权重——只需单个GPU就能跑！项目地址：https://github.com/lm-sys/FastChat/#fine-tuning130亿参数，90%匹敌ChatGPTVicuna是通过在ShareGPT收集的用户共享对话上对LLaMA进行微调训练而来，训练成本近300美元。研究人员设计了8个问题类别，包括数学、写作、编码，对Vicuna-13B与其他四个模型进行了性能测试。测试过程
自从Meta发布并开源了LLaMA系列模型，来自斯坦福大学、UC伯克利等机构的研究者们纷纷在LLaMA的基础上进行「二创」，先后推出了Alpaca、Vicuna等多个「羊驼」大模型。羊驼已然成为开源社区的新晋顶流。由于「二创」过于丰富，生物学羊驼属的英文单词都快不够用了，但是用其他动物的名字给大模型命名也是可以的。最近，UC伯克利的伯克利人工智能研究院（BAIR）发布了一个可以在消费级GPU上运行的对话模型Koala（直译为考拉）。Koala使用从网络收集的对话数据对LLaMA模型进行微调。项目地址：https://bair.berkeley.edu/blog/2023/04/03/koal
自从Meta发布并开源了LLaMA系列模型，来自斯坦福大学、UC伯克利等机构的研究者们纷纷在LLaMA的基础上进行「二创」，先后推出了Alpaca、Vicuna等多个「羊驼」大模型。羊驼已然成为开源社区的新晋顶流。由于「二创」过于丰富，生物学羊驼属的英文单词都快不够用了，但是用其他动物的名字给大模型命名也是可以的。最近，UC伯克利的伯克利人工智能研究院（BAIR）发布了一个可以在消费级GPU上运行的对话模型Koala（直译为考拉）。Koala使用从网络收集的对话数据对LLaMA模型进行微调。项目地址：https://bair.berkeley.edu/blog/2023/04/03/koal
自从Meta发布「开源版ChatGPT」LLaMA之后，学界可谓是一片狂欢。先是斯坦福提出了70亿参数Alpaca，紧接着又是UC伯克利联手CMU、斯坦福、UCSD和MBZUAI发布的130亿参数Vicuna，在超过90%的情况下实现了与ChatGPT和Bard相匹敌的能力。今天，「卷王」UC伯克利LMSysorg又发布了70亿参数的Vicuna——不仅体积小、效率高、能力强，而且只需两行命令就能在M1/M2芯片的Mac上运行，还能开启GPU加速！项目地址：https://github.com/lm-sys/FastChat/#fine-tuning恰在今天，HuggingFace的研究人员也
自从Meta发布「开源版ChatGPT」LLaMA之后，学界可谓是一片狂欢。先是斯坦福提出了70亿参数Alpaca，紧接着又是UC伯克利联手CMU、斯坦福、UCSD和MBZUAI发布的130亿参数Vicuna，在超过90%的情况下实现了与ChatGPT和Bard相匹敌的能力。今天，「卷王」UC伯克利LMSysorg又发布了70亿参数的Vicuna——不仅体积小、效率高、能力强，而且只需两行命令就能在M1/M2芯片的Mac上运行，还能开启GPU加速！项目地址：https://github.com/lm-sys/FastChat/#fine-tuning恰在今天，HuggingFace的研究人员也
