草庐IT

langchain-ChatGLM

全部标签

使用 Flask 快速构建 基于langchain 和 chatGPT的 PDF摘要总结

简介这里不对langchain和chatGPT进行介绍,仅对实现过程进行整理环境Python>=3.8Flask2.2.3Jinja23.1.2langchain0.0.143openai0.27.4实现总结功能使用langchain和openai接口实现总结功能实现逻辑:通过text_splitter将pdf分块,送入langchain的summarize_chain中进行处理同样也可以使用OpenAIEmbeddings来实现,文档地址:langchain官方文档创建文件:summarize.pyfromlangchainimportPromptTemplatefromlangchain.

大语言模型-中文chatGLM-LLAMA微调

微调大语言模型-ChatGLM-Tuning大语言模型-微调chatglm6b大语言模型-中文chatGLM-LLAMA微调大语言模型-alpaca-lora本地知识库大语言模型2-documentai解读大语言模型-DocumentSearch解读大语言模型-中文Langchain本文解读代码的地址:https://github.com/27182812/ChatGLM-LLaMA-chinese-insturct中文instruct在chatGLM,LLAMA上的表现数据json的预处理instructiontokenizer相比大语言模型-ChatGLM-Tuning中,是两个函数都放在

半天就行!教你用ChatGPT开发小程序;谁能做出中国的Discord?LangChain中文入门教程;一个周末搞定电影预告片的AI工作流 | ShowMeAI日报

👀日报&周刊合集|🎡生产力工具与行业应用大全|🧡点赞关注评论拜托啦!🤖『Discord和它的中国「学徒」们』为什么还没有人跑出来?ShowMeAI知识星球资料分类「下资料」,编号「R080」Discord不仅是口碑最好的游戏通信产品,还是世界上规模最大、发展最快的社交网络。在最新AI浪潮中Discord又迎来了新的增量。Discord也是非常少有的,在中国没有模仿者跑通的超过百亿美金体量的2C互联网平台级应用。理论上,在中国复刻一个Discord这件事的似乎是可行的,但现实中Discord的中国学徒们的发展并非一帆风顺⋙前往免费星球下载了解详情🤖『HuggingFace与ServiceNow合

手搓GPT系列之 - chatgpt + langchain 实现一个书本解读机器人

ChatGPT已经威名远播,关于如何使用大模型来构建应用还处于十分前期的探索阶段。各种基于大模型的应用技术也层出不穷。本文将给大家介绍一款基于大模型的应用框架:langchain。langchain集成了做一个基于大模型应用所需的一切。熟悉javaweb应用的同学们应该十分熟悉springboot框架,我们可以说langchain就是大语言模型应用方面的springboot。本文将为大语言模型应用的开发者们提供一个基于langchain的示例项目,便于大家进一步提升promptengineering的效能。1.这个demo实现了一个什么需求本示例项目将实现一个机器人,这个机器人会从指定路径读取

两小时搭建自己的ChatGPT(ChatGLM)免硬件

目录准备(注册):搭建:API模式:测试:总结:准备(注册):注册modelscope(白嫖)免费使用服务器https://modelscope.cn/按照图片里的选择(选择其他好像不能创建成功)可以白嫖60多个小时的配置8核32GB显存16G预装ModelScopeLibrary预装镜像ubuntu20.04-cuda11.3.0-py37-torch1.11.0-tf1.15.5-1.5.0ChatGLM-6B介绍ChatGLM-6B是一个开源的、支持中英双语的对话语言模型,基于 GeneralLanguageModel(GLM) 架构,具有62亿参数。硬件需求量化等级最低GPU显存(推理

LangChain入门(四)-构建本地知识库问答机器人

在这个例子中,我们会介绍如何从我们本地读取多个文档构建知识库,并且使用OpenaiAPI在知识库中进行搜索并给出答案。目录一、安装向量数据库chromadb和tiktoken二、使用案例三、embeddings持久化四、在线的向量数据库Pinecone一、安装向量数据库chromadb和tiktokenpipinstallchromadb  其中hnswlib安装不了,去一下网站下载源码解压后,将hnswlib文件夹放在了项目的\Lib\site-packages文件夹中GitHub-nmslib/hnswlib:Header-onlyC++/pythonlibraryforfastappro

Chinese-LangChain:基于ChatGLM-6b+langchain实现本地化知识库检索与智能答案生成

Chinese-LangChainChinese-LangChain:中文langchain项目,基于ChatGLM-6b+langchain实现本地化知识库检索与智能答案生成https://github.com/yanqiangmiffy/Chinese-LangChain俗称:小必应,Q.Talk,强聊,QiangTalk🔥效果演示🚀特性🐯2023/04/19引入ChuanhuChatGPT皮肤📱2023/04/19增加websearch功能,需要确保网络畅通!📚2023/04/18webui增加知识库选择功能🚀2023/04/18修复推理预测超时5s报错问题🎉2023/04/17支持多种

【AI Code】CodeGeex:你的免费AI编程助手——基于清华ChatGLM的130亿参数预训练大模型

CodeGeex官网:https://codegeex.cn/zh-CN 在线体验地址:https://codegeex.cn/zh-CN/playground论文:https://arxiv.org/pdf/2303.17568.pdf开源地址:GitHub-THUDM/CodeGeeX:CodeGeeX:AnOpenMultilingualCodeGenerationModel 目录 

ChatGLM-6B的P-Tuning微调详细步骤及结果验证

文章目录1.ChatGLM-6B1.1P-Tuningv2简介2.运行环境2.1项目准备3.数据准备4.使用P-Tuningv2对ChatGLM-6B微调5.模型评估6.利用微调后的模型进行验证6.1微调后的模型6.2原始ChatGLM-6B模型6.3结果对比1.ChatGLM-6BChatGLM-6B仓库地址:https://github.com/THUDM/ChatGLM-6BChatGLM-6B/P-Tuning仓库地址:https://github.com/THUDM/ChatGLM-6B/tree/main/ptuning1.1P-Tuningv2简介P-Tuning是一种较新的模型

ChatGLM-6B 模型介绍及训练自己数据集实战

介绍ChatGLM-6B是开源的文本生成式对话模型,基于GeneralLanguageModel(GLM)框架,具有62亿参数,结合模型蒸馏技术,实测在2080ti显卡训练中上显存占用6G左右,优点:1.较低的部署门槛:FP16半精度下,ChatGLM-6B需要至少13GB的显存进行推理,结合模型量化技术,一需求可以进一步降低到10GB(INT8)和6GB(INT4),使得ChatGLM-6B可以部署在消费级显卡上。2,更长的序列长度:相比GLM-10B(序列长度1024),ChatGLM-6B序列长度达2048,支持更长对话和应用。3,人类意图对齐训练:使用了监督微调(SupervisedF