草庐IT

langchain-ChatGLM

全部标签

清华大学开源ChatGLM2-6B开源模型在anaconda下的虚拟环境详细部署及安装教程

感谢清华大学开源的ChatGLM2-6B软件,让我们国人有属于自己的AI聊天机器人,期待新版本的推出。前期准备:1.电脑配置(低于以下配置无法安装)python版本要求:3.8以上没有安装python的没有关系,我们在下面安装anaconda中会自动生成python,有了python的建议删除,通过anaconda安装python以便于后面创建虚拟环境。windows系统:Windows10以上,推荐N卡(NVIDIA显卡20系列以上)注意:处理器为AMD容易报错,intel的不容易报错,配置越高最后的响应速度越快。查看:按住win+e,点此电脑,右键点属性即可查看自己电脑系统和配置显卡:6G

LangChain + ChatGLM2-6B 搭建个人专属知识库

之前教过大家利用langchain+ChatGLM-6B实现个人专属知识库,非常简单易上手。最近,智谱AI研发团队又推出了ChatGLM系列的新模型ChatGLM2-6B,是开源中英双语对话模型ChatGLM-6B的第二代版本,性能更强悍。树先生之所以现在才更新ChatGLM2-6B知识库教程,是想等模型本身再多迭代几个版本,不至于刚出的教程很快不适配,或者项目本身一堆bug,那样大家使用体验也不好。ChatGLM2-6B介绍ChatGLM2-6B在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,引入了如下新特性:更强大的性能:基于ChatGLM初代模型的开发经验,全面升级了基座

关于生成式语言大模型的一些工程思考 paddlenlp & chatglm & llama

生成式语言大模型,随着chatgpt的爆火,市场上涌现出一批高质量的生成式语言大模型的项目。近期百度飞桨自然语言处理项目paddlenlp发布了2.6版本。更新了以下特性:全面支持主流开源大模型Bloom,ChatGLM,GLM,Llama,OPT的训练和推理;TrainerAPI新增张量训练能力,简单配置即可开启分布式训练;新增低参数微调能力PEFT,助力大模型高效微调。其中chatglm与llama是生成式语言大模型中市场认可度相对较高的两款生成式语言模型。分布式多机多卡的深度学习训练有多种模式,其中概括而言是数据并行与模型并行。数据并行参数量受限制于显存,所以模型的参数量上限相对低于模型

ChatGLM2-6B! 我跑通啦!本地部署+微调(windows系统)

ChatGLM2-6B!我跑通啦!(windows系统)1.跑通了啥?2.咋跑通的?2.1ChatGLM2-6B本地部署2.2ChatGLM2-6B本地微调2.3小结3.打算做什么?1.跑通了啥?记录一下此时此刻,2023年7月8日22点04,从ChatGLM2-6B在7月4日开放了ptuning到此时此刻,ChatGLM2-6B的微调终于被哥们跑通了!从本地部署ChatGLM2-6B到本地进行P-tuning微调,再到最后的模型检测,哥们全跑通了!2.咋跑通的?2.1ChatGLM2-6B本地部署这里非常感谢ChatGLM2-6B|开源本地化语言模型这篇博客!因为我布置环境,本地部署完全按照

模型训练系列:1、用清华ChatGLM-6B模型部署自己的本地AI助手

最近清华大学开源的ChatGLM-6B语言模型在国际上大出风头,仅仅62亿参数的小模型,能力却很强。很期待他们后续1300亿参数模型130B的发布。为什么一些能力较弱的小模型,这么受追捧?因为ChatGPT、GPT-4虽好,毕竟被国外封锁,而且还要付费,更重要的是,LLM要在各行业提高生产力,很多企业接下来肯定是要自己部署语言模型的,毕竟谁也不敢泄漏自己商业数据给别人的AI去训练,为他人做嫁衣,最后砸了自己的饭碗。这里根据我的实操经验,分享一下如何自己搭建一个语言模型服务器。最后效果如下:首先需要搞一台GPU较强的机器,推荐先租一台腾讯云、阿里云等AI训练的机器,T4显卡就行,一般价格是按量付

ChatGLM-6B的windows本地部署使用

ChartGPT最近特别火,但是收费,而且国内访问不太方便,所以找了个类似的进行学习使用ChatGLM-6B,开源支持中英文的对话大模型,基于GeneralLanguageModel(GLM)架构,具有62亿参数,简单说非常不错,可能和chartGPT比较有些差距,但是开源免费,并且可以在本地部署,支持中文,这就很nice了首先安装环境,当前本机电脑win10,pycharm2020,python3.9,Anaconda3。文章涉及到的相关资源会在文章最下面公共号中提供,这里也注意,部分软件根据电脑本身需要改动版本安装1、需要安装CUDA和cudnn由于要使用GPU(不用也可以,不过是有点慢)

我为什么放弃了 LangChain?

如果你关注了过去几个月中人工智能的爆炸式发展,那你大概率听说过LangChain。简单来说,LangChain是一个Python和JavaScript库,由HarrisonChase开发,用于连接OpenAI的GPTAPI(后续已扩展到更多模型)以生成人工智能文本。更具体地说,它是论文《ReAct:SynergizingReasoningandActinginLanguageModels》的实现:该论文展示了一种提示技术,允许模型「推理」(通过思维链)和「行动」(通过能够使用预定义工具集中的工具,例如能够搜索互联网)。图片论文链接:https://arxiv.org/pdf/2210.0362

LangChain 使用文本描述的方式操作MySQL中的数据

一、LangChain使用文本描述的方式操作MySQL中的数据在LangChain中提供了SQLDatabaseChain,可以通过语义文本去操作MySQL中的数据,例如在MySQL中有如下表数据:用户表CREATETABLE`user`(`id`intNOTNULLAUTO_INCREMENTCOMMENT'主键',`name`varchar(255)DEFAULTNULLCOMMENT'姓名',`age`intDEFAULTNULLCOMMENT'年龄',PRIMARYKEY(`id`))ENGINE=InnoDBAUTO_INCREMENT=8DEFAULTCHARSET=utf8mb4

使用langchain+chatGPT搭建自有知识库问答机器人

前言    自去年年底OpenAI发布ChatGPT以来,大型语言模型在人工智能领域掀起了一股热潮。随后,各家公司纷纷推出自己的大型语言模型,如百度的文心一言、讯飞的星火大模型等。在这个过程中,文本转图片和文本转视频等相关领域也备受关注。然而,很显然,这只是一时的潮流。作者对这些领域进行了调研,根据调研结果来看,这两个领域距离通用的技术能力还有很大距离,目前仅处于试水阶段。    但是chatGPT的文本理解能力确实是一个里程碑式的事件,在文本理解上,chatGPT已经可以完全媲美人类甚至超过人类。在这个过程中,业界开始逐渐探讨具体商业使用场景,并在业务上进行落地实现。    今天就给大家带来

常见大模型对比[ChatGPT(智能聊天机器人)、Newbing(必应)、Bard(巴德)、讯飞星火认知大模型(SparkDesk)、ChatGLM-6B]

目录1引言2选取常见的大模型作为对比项2.1什么是大模型2.2常见大模型3相关的大模型介绍和功能3.1ChatGPT3.1.1ChatGPT的介绍3.1.2ChatGPT的原理3.1.3ChatGPT的特点3.2Newbing3.2.1Newbing的介绍3.2.2GPT-4的原理3.2.3Newbing的特点3.3ChatGLM-6B3.3.1ChatGLM的介绍3.3.2ChatGLM的原理3.3.3ChatGLM-6B的特点3.4文心一言3.4.1文心一言的介绍3.4.2文心一言的原理3.4.3文心一言的特点3.5讯飞星火认知大模型3.5.1讯飞星火认知大模型的介绍3.5.2讯飞星火认知