草庐IT

LangChain-ChatGLM-Webui

全部标签

Ubuntu部署ChatGLM2-6B踩坑记录

目录一、环境配置1、安装anaconda或者miniconda进行环境的管理2、安装CUDA3、环境安装二、配置加载模型1、建立THUDM文件夹三、遇到的问题1、pipinstall-rrequirements.txt 2、运行pythonweb_demo.py遇到的错误——TypeError:Descriptorscannotnotbecreateddirectly. 3、运行pythonweb_demo.py遇到的错误——AttributeError:module'numpy'hasnoattribute'object'.四、网页版Demo基于Streamlit的网页版Demo五、命令行D

本地搭建【文档助手】大模型版(LangChain+llama+Streamlit)

概述本文的文档助手就是:我们上传一个文档,然后在对话框中输入问题,大模型会把问题的答案返回。安装步骤先下载代码到本地LangChain调用llama模型的示例代码:https://github.com/afaqueumer/DocQA(代码不是本人写的,尊重原创)gitclonehttps://github.com/afaqueumer/DocQA.git环境安装双击setup_env.bat如果没反应可能是缺少环境,打开控制台手动执行一下,缺python或者pip的自己根据报错下载一下如果llama-cpp-python安装报错(1)需要下载VisualStudio(2)打开VisualSt

2023-12-30 AIGC-LangChain介绍

摘要:2023-12-30AIGC-LangChain介绍LangChain介绍1.https://youtu.be/Ix9WIZpArm0?t=3532.https://www.freecodecamp.org/news/langchain-how-to-create-custom-knowledge-chatbots/3.https://www.pinecone.io/learn/langchain-conversational-memory/4.https://dev.to/reaminated/run-chatgpt-style-questions-over-your-own-file

如何在Linux上安装Stable Diffusion WebUI

StableDiffusionWebUI是一个基于AUTOMATIC1111的stable-diffusion-webui仓库的项目,允许用户通过web界面轻松地生成AI驱动的图像。本文将指导您在Linux系统上完成StableDiffusionWebUI的安装过程。准备工作在安装StableDiffusionWebUI之前,请确保您的Linux系统满足以下要求:操作系统:基于Debian的Linux发行版,如Ubuntu或Debian。Python版本:Python3.6或更高版本。足够的磁盘空间:至少1GB的空间用于安装和运行。内存要求:至少2GB可用内存。安装步骤1.安装必要的软件和库打

2023-12-30 AIGC-LangChain指南-打造LLM的垂域AI框架

摘要:2023-12-30AIGC-LangChain指南-打造LLM的垂域AI框架LangChain指南-打造LLM的垂域AI框架CHATGPT以来,Langchain可能是目前在AI领域中最热门的事物之一,仅次于向量数据库。它是一个框架,用于在大型语言模型上开发应用程序,例如GPT、LLama、HuggingFace模型等。它最初是一个Python包,但现在也有一个TypeScript版本,在功能上逐渐赶上,并且还有一个刚刚开始的Ruby版本。大家都知道在应用系统的业务中结合ChatGPT需要大量的prompt,想像一下:(1)如果我需要快速读一本书,想通过本书作为prompt,使用Cha

AI作画工具 stable-diffusion-webui 一键安装工具(A1111-Web-UI-Installer)

安装下载最新版本确保你的NVIDIA显卡驱动程序是最新的(起码不能太老)启动安装程序在欢迎屏幕上单击下一步在屏幕上,选择要安装的内容如果你已经安装了Python3.10和Git,那么可以取消选中如果你不知道这些是什么,就按默认的来。(注意python这玩意,特定版本很重要)点击next等待下载/安装,耐心等待,安装在后台进行这一步的时候注意一下安装路径:整个工具加上模型,体积还是比较大的,最好装在SSD上,硬盘闲置空间大于40GB,以及避免安装路径中出现中文installSDCheckpoint:你要是不知道这个东西是什么,就保持勾选。Iunderstand:用户协议这种东西,懂的都懂,勾上就

LangChain 59 深入理解LangChain 表达式语言22 multiple chains多个链交互 LangChain Expression Language (LCEL)

LangChain系列文章LangChain36深入理解LangChain表达式语言优势一LangChainExpressionLanguage(LCEL)LangChain37深入理解LangChain表达式语言二实现prompt+model+outputparserLangChainExpressionLanguage(LCEL)LangChain38深入理解LangChain表达式语言三实现RAG检索增强生成LangChainExpressionLanguage(LCEL)LangChain39深入理解LangChain表达式语言四为什么要用LCELLangChainExpression

AIGC|手把手教你进行ChatGLM模型部署实践

一、背景介绍模型部署基本步骤分为模型选择、模型部署、运行,如果需要在特定的场景下定制化模型,则还需要进行数据集的选择、数据集格式转换、微调。根据上述的步骤本教程选取如下的开源模型、数据集,来对医疗场景下进行定制化模型部署。当然模型部署对GPU要求非常高,所以本教程将使用AutoDL提供的服务器资源。地址:https://www.autodl.com/homeChatGLM-6B(模型):清华开源的、支持中英双语对话的语言模型,具有62亿参数。地址:https://github.com/THUDM/ChatGLM-6BHuatuoGPT-sft-data-v1(数据集):医疗数据集,拥有333M

三步完成ChatGLM3-6B在英特尔CPU上的INT4量化和部署

作者:英特尔边缘计算创新大使 刘力1.1 ChatGLM3-6B简介ChatGLM3是智谱AI和清华大学KEG实验室联合发布的新一代对话预训练模型。ChatGLM3-6B是ChatGLM3系列中的开源模型,在填写问卷进行登记后亦允许免费商业使用。引用自:https://github.com/THUDM/ChatGLM3请使用命令,将ChatGLM3-6B模型下载到本地:gitclonehttps://www.modelscope.cn/ZhipuAI/chatglm3-6b.git1.2 BigDL-LLM简介BigDL-LLM是开源,遵循Apache2.0许可证,专门用于在英特尔的硬件平台上

LangChain 74 有用的或者有害的helpful or harmful Scoring Evaluator

LangChain系列文章LangChain60深入理解LangChain表达式语言23multiplechains链透传参数LangChainExpressionLanguage(LCEL)LangChain61深入理解LangChain表达式语言24multiplechains链透传参数LangChainExpressionLanguage(LCEL)LangChain62深入理解LangChain表达式语言25agents代理LangChainExpressionLanguage(LCEL)LangChain63深入理解LangChain表达式语言26生成代码code并执行LangCha