ChatGLM3-6B是一个语言大模型，最近在评估这个模型，但发现它的文档有限，只能从demo代码中猜测调用的参数的含义，准确度是有限的；于是，通过查看源代码来研究，目前整理笔记如下：ChatGLM3-6B的调用接口有两个，一个是chat接口，一个是stream_chat接口接口函数的实现位于代码chatglm3-6b/blob/main/modeling_chatglm.py中一、chat接口chat接口的原型如下：defchat(self,tokenizer,query:str,history:List[Dict]=None,role:str="user",max_length:int=8
1.项目地址GitHub-hiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan,Qwen,ChatGLM)Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan,Qwen,ChatGLM)-GitHub-hiyouga/LLaMA-Factory:Easy-to-useLLMfine-tuningframework(LLaMA,BLOOM,Mistral,Baichuan,Qwen,ChatGLM)http
在目前的开源模型中，LLaMA模型无疑是一颗闪亮的⭐️，但是相对于ChatGLM、BaiChuan等国产大模型，其对于中文的支持能力不是很理想。原版LLaMA模型的词表大小是32K，中文所占token是几百个左右，这将会导致中文的编解码效率低。在将LLaMA系列模型用于中文语言时需要进行中文词表扩充，基于sentencepiece工具训练，产生新的词表，然后与原始词表合并得到一个新词表。本文将LLaMA模型中文词表扩充分为以下步骤：训练数据准备、词表训练、词表合并、词表测试。训练数据准备这里使用MedicalGPT中的天龙八部小说作为训练文本。数据是txt文件，一行文本作为一条数据。词表训练代
QA对话目前是大语言模型的一大应用场景，在QA对话中，由于大语言模型信息的滞后性以及不包含业务知识的特点，我们经常需要外挂知识库来协助大模型解决一些问题。在外挂知识库的过程中，embedding模型的召回效果直接影响到大模型的回答效果，因此，在许多场景下，我们都需要微调我们的embedding模型来提高我们的召回效果。下面，我们就基于llama-index对BAAI/bge-base-zh-v1.5模型进行微调，关于该模型的介绍，可以参考https://huggingface.co/BAAI/bge-base-zh-v1.5。平台介绍对embedding模型进行微调的过程中需要使用GPU加速训
一、下载源码和模型 下载源码和模型#下载源码gitclonehttps://github.com/ggerganov/llama.cpp.git#下载llama-7b模型gitclonehttps://www.modelscope.cn/skyline2006/llama-7b.git 查看cmake版本：D:\pyworkspace\llama_cpp\llama.cpp\build>cmake--versioncmakeversion3.22.0-rc2CMakesuitemaintainedandsupportedbyKitware(kitware.com/cmake). 二、开始bui
Lag-Llama:TowardsFoundationModelsforTimeSeriesForecasting摘要本文提出Lag-Llama，在大量时间序列数据上训练的通用单变量概率时间序列预测模型。模型在分布外泛化能力上取得较好效果。模型使用平滑破坏幂律（smoothlybrokenpower-laws）。介绍目前任务主要集中于在相同域的数据上训练模型。当前已有的大规模通用模型在大规模不同数据上进行训练，展现出了极强的泛化能力。本文训练了一个Transformer模型，使用大量时序数据进行训练并在未见过的数据集上进行测试。文章在Monash时序仓库上训练了Lag-Llama。本文贡献：提
LLaMa、Qwen、ChatGLM、ChatGLM2的区别以下比较的前提是首先和BERT(transfomer)的对比感谢帮忙给我githubrepository的star，更多最新模型长期更新：https://github.com/zysNLP/quickllmLLaMa：去掉biasLayNorm方式：RMSnorm：https://zhuanlan.zhihu.com/p/650231190#torch自带LayerNormifself.norm_mode=='torch_buildin': returnF.layer_norm(hidden_states,self.normalize
LLAMA2在不同系统上运行的结果LLAMA2在windows上运行的结果LLAMA2在Mac上运行的结果安装Llama2的不同方法方法一： 编译llama.cpp克隆llama.cppgitclonehttps://github.com/ggerganov/llama.cpp.git通过conda创建或者venv.下面是通过conda创建的。condacreate--namellama_testpython=3.9condaactivatellama_test安装python依赖的包pip3install-rrequirements.txt编译llama.cppmacLLAMA_METAL=
当数据量大的时候，比如百万级别，使用ChatGLM3-6b推理的速度是很慢的。发现使用vLLM和ChatGLM3-6b批量推理极大的提高了推理效率。本文主要通过一个简单的例子进行实践。1.安装vLLM和PyTorch[2]除了Python（本文使用3.11）、CUDA（本文使用11.8）外，还要安装vllm、pytorch、xformers等库，特别注意版本要一致。官方提供类库版本主要是针对CUDA12.1版。如下所示：# 用CUDA 11.8安装vLLM# 指定vLLM版本export VLLM_VERSION=0.2.6# 指定Python版本export PYTHON_VERSION=3
1.简介：组织机构：Meta（Facebook）代码仓：https://github.com/facebookresearch/llama模型：llama-2-7b下载：使用download.sh下载硬件环境：暗影精灵7PlusWindows版本：Windows11家庭中文版InsiderPreview22H2内存32GGPU显卡：NvidiaGTX3080Laptop（16G）2.代码和模型下载：下载llama.cpp的代码仓：gitclonehttps://github.com/ggerganov/llama.cpp需要获取原始LLaMA的模型文件，放到models目录下，现在models
