草庐IT

Specialists

全部标签

Multimodal Foundation Models: From Specialists to General-Purpose Assistants

MultimodalFoundationModels:FromSpecialiststoGeneral-PurposeAssistants基本信息博客贡献人燕青作者ChunyuanLi,ZheGan,ZhengyuanYang,etal.标签LLM,Multimodality摘要近年来,人工智能领域在模型发展方面经历4个阶段,如图1所示。任务特定的模型是针对单个数据集和任务开发的,通常从零开始训练。通过大规模预训练,语言模型在许多既定的语言理解和生成任务上取得了先进的性能,为下游任务适配提供了基础。将各种语言理解和生成任务统一到一个模型中。随着网络规模的训练和统一,出现了一些新兴能力,如语境学