最近清华大学开源的ChatGLM-6B语言模型在国际上大出风头，仅仅62亿参数的小模型，能力却很强。很期待他们后续1300亿参数模型130B的发布。为什么一些能力较弱的小模型，这么受追捧？因为ChatGPT、GPT-4虽好，毕竟被国外封锁，而且还要付费，更重要的是，LLM要在各行业提高生产力，很多企业接下来肯定是要自己部署语言模型的，毕竟谁也不敢泄漏自己商业数据给别人的AI去训练，为他人做嫁衣，最后砸了自己的饭碗。这里根据我的实操经验，分享一下如何自己搭建一个语言模型服务器。最后效果如下：首先需要搞一台GPU较强的机器，推荐先租一台腾讯云、阿里云等AI训练的机器，T4显卡就行，一般价格是按量付
ChartGPT最近特别火，但是收费，而且国内访问不太方便，所以找了个类似的进行学习使用ChatGLM-6B，开源支持中英文的对话大模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数，简单说非常不错，可能和chartGPT比较有些差距，但是开源免费，并且可以在本地部署，支持中文，这就很nice了首先安装环境，当前本机电脑win10，pycharm2020，python3.9，Anaconda3。文章涉及到的相关资源会在文章最下面公共号中提供，这里也注意，部分软件根据电脑本身需要改动版本安装1、需要安装CUDA和cudnn由于要使用GPU（不用也可以，不过是有点慢）
目录1引言2选取常见的大模型作为对比项2.1什么是大模型2.2常见大模型3相关的大模型介绍和功能3.1ChatGPT3.1.1ChatGPT的介绍3.1.2ChatGPT的原理3.1.3ChatGPT的特点3.2Newbing3.2.1Newbing的介绍3.2.2GPT-4的原理3.2.3Newbing的特点3.3ChatGLM-6B3.3.1ChatGLM的介绍3.3.2ChatGLM的原理3.3.3ChatGLM-6B的特点3.4文心一言3.4.1文心一言的介绍3.4.2文心一言的原理3.4.3文心一言的特点3.5讯飞星火认知大模型3.5.1讯飞星火认知大模型的介绍3.5.2讯飞星火认知
随着年初chatGPT产品的退出和迭代发展，凭借一己之力将大模型带火，国产很多厂商后续也陆续跟进开始投入研发属于自己的大模型产品，在这段时间里面陆陆续续出来了很多不同的产品，比如：文心一言、星火大模型、通义千问、商量、360智脑、MOSS等等，这些大都是排队申请注册，迟迟等不到体验通过的结果，在开源层面比较能打的基本就是清华大学开源的chatGLM产品了，目前已经经过数个版本的迭代开发了，因为实际项目的需要，我也陆续接触了这个开源项目，本文并不是要去深入剖析，我也没有那个能力，毕竟本身并不是主要做大模型和NLP这个方向的，这里主要的目的就是详细记录自己学习过程中的学习资料已经问题等等，会持续更
最近ChatGLM-6B发布了第二代ChatGLM2-6B，于是果断部署了一下试试水。下面讲解详细部署过程，并讲解部署时候遇到的问题以及解决办法。一、部署过程1.安装python、git等必须工具在要部署项目之前，需要部署必须的一些工具。下面详细讲解每一步所需的工具安装步骤。1.1安装python对于如何安装python，网上有很多教程，这里只是简单讲解。（1）通过安装anaconda、miniconda安装python可以通过anaconda和miniconda安装虚拟环境的方式安装python，这种安装的好处就是可以切换不同python和各种三方包不同版本。因为很多项目需要的版本不同，会导
首先是项目开源地址 https://github.com/imClumsyPanda/langchain-ChatGLM下载这个项目的源码非常简单，但运行起来十分麻烦，各种环境的搭配简直是折磨人，尤其是电脑上缺少各种安装环境的，我首先先列举几个，例如conda安装python的虚拟环境，用这个比较方便，还有Anoconda的安装，VisualStudio的安装等等，反正运行时缺少什么，我们就安装什么就完事了。B站有一个类似的本地部署值得参考一下：【防坑指南】手把手演示本机部署langchain+chatGLM本地知识库_哔哩哔哩_bilibili一、跟着B站的这个视频安装下去，我们可能在第一步
文章目录ChatGLM2-6B国产开源大模型ChatGLM-6B第二代正式发布介绍评测结果MMLUC-EvalGSM8KBBH推理性能ChatGLM2-6B示例使用方式环境安装代码调用从本地加载模型网页版Demo命令行DemoAPI部署低成本部署模型量化CPU部署Mac部署协议引用
自3月14日发布以来，ChatGLM-6B深受广大开发者喜爱，截至6月24日，来自Huggingface上的下载量已经超过300w。为了更进一步促进大模型开源社区的发展，我们再次升级ChatGLM-6B，发布ChatGLM2-6B。在主要评估LLM模型中文能力的C-Eval榜单中，截至6月25日 ChatGLM2模型以71.1的分数位居Rank0，ChatGLM2-6B模型以51.7的分数位居Rank6，是榜单上排名最高的开源模型。*CEval榜单，ChatGLM2暂时位居Rank0，ChatGLM2-6B位居Rank6性能升级ChatGLM2-6B是开源中英双语对话模型ChatGL
机器配置重点关注指标：CPU、内存、GPU、GPU驱动 类型OSCPU内存GPU机器配置ubuntu_20_04_x6416核125GNVIDIAA10080G #查看显卡安装状态nvidia-smi 安装必要的软件gitsudoapt-getupdatesudoapt-getinstallgitgit-lfs(大文件管理)sudoapt-getinstallgit-lfspython3.10.7(如果已经安装了python其他版本，不用再安装此版本)下载解压源码wgethttps://www.python.org/ftp/python/3.10.7/Python-3.10.7.tgztar–
最近因为工作关系，接触到ChatGLM-6B，自己部署做了一些测试。参考了网上很多优秀的资料，在此基础上，补充一些自己实践中发现的细节。部署内容部分绝大部分来自：https://zhuanlan.zhihu.com/p/627168140微调部分借鉴：https://zhuanlan.zhihu.com/p/625468667细节问题参考：https://zhuanlan.zhihu.com/p/624918286感谢作者分享，置顶推荐！！一些知识扫盲（本人作为一个小白在学习过程中感觉需要了解的基础知识大部分文章上来就说怎么干，没说为什么，有些碎片化，不成体系，大家见谅）：预训练模型的特点：使
