目录环境搭建数据集准备模型权重格式转换模型微调模型权重合并模型推理

LLM-SFT中文大模型微调(LLM-SFT),支持模型(ChatGLM,LlaMA,Bloom),支持(LoRA,QLoRA,DeepSpeed,UI,TensorboardX),支持(微调,推理,测评,接口)等.项目地址https://github.com/yongzhuo/LLM-SFT踩坑LoRA:ChatGLM已经微调比较好了,垂直领域数据继续微调甚至会带来性能下降,建议至多不超过200w-epoch(R=8的情况);QLoRA:不要使用.cuda(),GPU至少为英伟达图灵架构往上【备注】当前(2023.06)QLoRA只是节约显存,并不能加速训练;LoRA权重Bloomz-7B-

译者|崔皓审校|重楼摘要文章介绍了QLoRa（QuantizedLLMswithLow-RankAdapters），一种在消费者级别的硬件上微调大型语言模型（LLM）的新方法。QLoRa通过引入4位量化、双重量化和利用nVidia统一内存进行分页，大大减少了微调所需的内存，同时保持了与标准微调相当的性能。文章还提供了如何使用QLoRa微调一个拥有200亿参数的GPT模型的详细步骤，包括硬件和软件的要求，以及如何准备数据集和进行微调。开篇微调具有数十亿参数的模型现在可以在消费者硬件上实现。大多数大型语言模型（LLM）过于庞大，无法在消费者硬件上进行微调。例如，要微调一个拥有650亿参数的模型，我

大多数大型语言模型(LLM)都无法在消费者硬件上进行微调。例如，650亿个参数模型需要超过780Gb的GPU内存。这相当于10个A10080gb的gpu。就算我们使用云服务器，花费的开销也不是所有人都能够承担的。而QLoRa(Dettmersetal.，2023)，只需使用一个A100即可完成此操作。在这篇文章中将介绍QLoRa。包括描述它是如何工作的，以及如何使用它在GPU上微调具有200亿个参数的GPT模型。为了进行演示，本文使用nVidiaRTX306012GB来运行本文中的所有命令。这样可以保证小显存的要求，并且也保证可以使用免费的GoogleColab实例来实现相同的结果。但是，如果