出StableDiffusion的公司也出语言大模型了，效果还挺好。本周三，StableLM的发布引来了科技圈的关注。StabilityAI是近期势头正盛的创业公司，因为开源的AI画图工具StableDiffusion而饱受好评。在周三的发布中，该公司宣布其语言大模型现已可供开发人员在GitHub上使用和改编。与业内标杆ChatGPT一样，StableLM旨在高效地生成文本和代码。它在名为Pile的开源数据集的更大版本上进行训练，其中包含来自各种来源的信息，包括维基百科、StackExchange和PubMed，共22个数据集，容量达到825GB，1.5万亿个token。StabilityAI
准备工作：安装vicuna之前需要做一些准备工作，比如：git、python3、升级openssl等1、Git安装因为要克隆项目源码所以要安装，安装过程很简单yuminstallgit，这里不做过多介绍。如果不安装git也可以，项目源码可以去官网直接下载zip包。2、升级openssl为什么要先升级openssl?因为我先安装的python-3.10.11，后来发下openssl版本太低，导致又重新安装一般python。我这里安装的版本是openssl-1.1.1q，openssl-1.x最新版的是openssl-1.1.1s。判断是否需要升级，先执行opensslversion看看版本是否低
FastChat是一个开放平台，用于训练、服务和评估基于大型语言模型的聊天机器人。核心功能包括：最先进模型（例如，Vicuna）的权重、训练代码和评估代码。具有WebUI和OpenAI兼容RESTfulAPI的分布式多模型服务系统。Fastchat项目持续更新中，后续还未跟进，有兴趣请参看项目地址项目地址:GitHub-lm-sys/FastChat:Anopenplatformfortraining,serving,andevaluatinglargelanguagemodels.ReleaserepoforVicunaandFastChat-T5.体验地址:https://chat.lms
前言 Meta发布的一代LLaMA已经掀起了一股开源大模型热潮，也有很多相关工作不断涌现。最近Meta全新发布了Llama-2，效果更上一层楼。而且最重要的是模型可以相对随意分发了，不像一代一样，meta不让开发者发布基于llama模型训练出来的权重（原版当然更不可以）。既然有了Llama-2，国内开发者应该也会很快做出适配的吧。我大概搜索了一下github，以chinesellama2为关键字搜索，能看到已经有一些项目了。不过感觉其中有几个是挺像YX号的，为什么这么说呢，进去之后有卖课的PR（手动狗头）。所以这次还是选择之前一直评测的ChineseLLaMA&Alpaca项目的二代项
昨天在github上看到一个在本地部署中文大模型的项目，和大家分享一下。先把地址po出来。项目名称：中文LLaMA&Alpaca大语言模型+本地部署(ChineseLLaMA&AlpacaLLMs)项目地址：https://github.com/ymcui/Chinese-LLaMA-Alpaca以下是原github中给出的体验GIF，可以看到这个模型还是具备一定的指令理解和上下文对话能力的。由于模型使用的是LoRA（一种高效模型训练方法），所以整个模型的参数量是比较小的（压缩包大概不到800M），但是需要和原版Facebook的权重进行结合才能使用。其实Facebook开源了，但又没完全开源
这一年来，以ChatGPT和GPT-4为代表的大语言模型（LLM）发展迅速，紧随其后，Meta开源的LLaMa、Llama2系列模型在AI界也引起的了不小的轰动。但随之而来的是争议不断，有人认为LLM存在一些不可控的风险，给人类生存构成一些潜在威胁。为了应对这些挑战，对LLM对齐的研究变得越来越重要，有研究者提出指令跟随（instructionfollowing），但这种方法需要大量的人工注释。然而，注释如此高质量的指令跟随数据集耗费巨大。本文来自 MetaAI的研究者提出了一种可扩展的方法即指令回译（instructionbacktranslation），该方法通过自动注释相应的指令来构建高
近期，指令微调（IFT）已经被作为预训练大语言模型（LLMs）获得指令遵循能力的关键训练阶段。然而，广泛使用的IFT数据集（例如，Alpaca的52k数据）却包含许多质量低下的实例，这些实例带有错误或无关的回应，对IFT产生了误导和不利影响。先前的处理方法主要依靠人工筛选这些低质量数据，但这既费时费力，又难以扩展。因此，如何以高效、自动化的方式过滤出这些低质量数据，成为提升LLM微调效果的关键所在。现在，来自马里兰大学，三星和南加大的研究人员提出了一种有效的数据过滤策略，使用强大的LLM（例如，ChatGPT）自动识别和移除低质量数据，以改善指令微调（IFT）的效果。图片论文地址：https:
今天，Llama2宣布正式开源，免费用于研究和商用。下载地址：https://ai.meta.com/resources/models-and-libraries/llama-downloads/?utm_source=twitter&utm_medium=organic_social&utm_campaign=llama2&utm_cnotallow=card发布不到一周的Llama2，已经在研究社区爆火，一系列性能评测、在线试用的demo纷纷出炉。就连OpenAI联合创始人Karpathy用C语言实现了对Llama2婴儿模型的推理。既然Llama2现已人人可用，那么如何去微调实现更多可能的
这一周来，Meta开源的Llama2火遍了整个AI社区。这不，连特斯拉前AI总监、年初重回OpenAI的AndrejKarpathy也坐不住了。他利用周末时间，做了一个关于Llama2的有趣项目——「llama2.c」。图片GitHub地址：https://github.com/karpathy/llama2.c具体是什么呢？他表示「llama2.c」可以让你在PyTorch中训练一个babyLlama2模型，然后使用近500行纯C、无任何依赖性的文件进行推理。并且，这个预训练模型能够在M1芯片的MacBookAir上以fp32的浮点精度、18tok/s的速度对故事进行采样。Karpathy介
之前尝试了从0到1复现斯坦福羊驼（StanfordAlpaca7B），StanfordAlpaca是在LLaMA整个模型上微调，即对预训练模型中的所有参数都进行微调（fullfine-tuning）。但该方法对于硬件成本要求仍然偏高且训练低效。因此，Alpaca-Lora则是利用Lora技术，在冻结原模型LLaMA参数的情况下，通过往模型中加入额外的网络层，并只训练这些新增的网络层参数。由于这些新增参数数量较少，这样不仅微调的成本显著下降（使用一块RTX4090显卡，只用5个小时就训练了一个与Alpaca水平相当的模型，将这类模型对算力的需求降到了消费级），还能获得和全模型微调（fullfin
