#记录工作，工作复盘仅作记录，未尽之处请补充，谢谢！电脑配置情况大致记录如下，请参考：MSI移动工作站，64G内存，4GB显存一、安装前准备：阅读文档，明确软件依赖和安装要求：在用Anaconda环境下安装stable-diffusion-webui之前，电脑上先要安装有以下软件：1、Anaconda首先安装 Anaconda，本处用于可窗口化的管理虚拟环境和方便解决环境中包的依赖问题可以参考本站大神的详细文章教程：Anaconda超详细安装教程（Windows环境下）_conda安装-CSDN博客https://blog.csdn.net/fan18317517352/article/det

内容简介大模型是深度学习自然语言处理皇冠上的一颗明珠，也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch2.0作为学习大模型的基本框架，以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术，为读者揭示大模型开发技术。本书共18章，内容包括人工智能与大模型、PyTorch2.0深度学习环境搭建、从零开始学习PyTorch2.0、深度学习基础算法详解、基于PyTorch卷积层的MNIST分类实战、PyTorch数据处理与模型展示、ResNet实战、有趣的词嵌入、基于PyTorch循环神经网络的中文情感分类实战、自然语言处理的编码器、预训练模型BE

ChatGLM3是智谱AI和清华大学KEG实验室联合发布的新一代对话预训练模型。ChatGLM3-6B是ChatGLM3系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B引入了如下特性：1.更强大的基础模型： ChatGLM3-6B的基础模型ChatGLM3-6B-Base采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base具有在10B以下的基础模型中最强的性能。2.更完整的功能支持： ChatGLM3-6B采用了全新设计的

LangChain是一个强大的框架，可以简化构建高级语言模型应用程序的过程。WhatisLangChain?LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。它提供了一套工具、组件和接口，可简化创建由大型语言模型(LLM)和聊天模型提供支持的应用程序的过程。LangChain可以轻松管理与语言模型的交互，将多个组件链接在一起，并集成额外的资源，例如API和数据库。LangChain有很多核心概念：1.ComponentsandChains在LangChain中，Component是模块化的构建块，可以组合起来创建强大的应用程序。Chain是组合在一起以完成特

CSDN越来越不好用了，降低CSDN发文，本篇后续持续更新会在：Langchain-Chatchat开源库使用的随笔记https://zhuanlan.zhihu.com/p/676061269笔者最近在研究Langchain-Chatchat，所以本篇作为随笔记进行记录。最近核心探索的是知识库的使用，其中关于文档如何进行分块的详细，可以参考笔者的另几篇文章：大模型RAG场景、数据、应用难点与解决（四）RAG分块Chunk技术优劣、技巧、方法汇总（五）原项目地址：Langchain-ChatchatWIKI教程（有点简单）1Chatchat项目结构整个结构是server启动API，然后项目内自

1环境安装1.1mac安装conda.下载miniconda，并安装curl-Ohttps://repo.anaconda.com/miniconda/Miniconda3-latest-MacOSX-arm64.shshMiniconda3-latest-MacOSX-arm64.sh1.2创建虚拟环境并激活创建名为chatglm3的虚拟环境，python版本为3.10.2激活环境（后续要在这个环境安装pytorch及依赖包）condacreate-nchatglm3python==3.10.2condaactivatechatglm31.3安装pytorch-nightlycondains

一、环境配置1.安装homebrew    1）HomebrewcomplementsmacOS.（Homebrew使macOS更完整。）Homebrew是macOS的套件管理工具，是高效下载软件的一种方法，相当于Linux下的 yum、apt-get 神器，用于下载存在依赖关系的软件包。通俗地说，Homebrew是类似于MacAppStore的一个软件商店。    2）打开终端Terminal，运行/bin/zsh-c"$(curl-fsSLhttps://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"   3）选择下载源4）下载同意

本地部署text-generation-webui0.背景1.text-generation-webui介绍2.克隆代码3.创建虚拟环境4.安装pytorch5.安装CUDA运行时库6.安装依赖库7.启动WebUI8.访问WebUI9.OpenAI兼容API0.背景一直喜欢用FastChat本地部署大语言模型，今天试一试text-generation-webui这个项目。1.text-generation-webui介绍text-generation-webui适用于大型语言模型的GradioWebUI。支持transformers、GPTQ、AWQ、EXL2、llama.cpp(GGUF)、

WebLangChain_ChatGLM介绍本文将详细介绍基于网络检索信息的检索增强生成系统，即WebLangChain。通过整合LangChain，成功将大型语言模型与最受欢迎的外部知识库之一——互联网紧密结合。鉴于中文社区中大型语言模型的蓬勃发展，有许多可供利用的开源大语言模型。ChatGLM、Baichuan、Qwen等大语言模型针对中文交互场景进行了优化，以提升其对中文理解和问答的能力。所以我们还将介绍如何在检索增强生成应用中集成中文社区广泛使用的开源模型ChatGLM3。这一步骤的实施将进一步拓展系统的适用性和性能，使其更好地服务于中文用户。本文配套的代码仓库：https://git

ubuntu部署ChatGLM-6B完整流程模型量化Nvidia初环境与设备环境准备克隆模型代码部署ChatGLM-6B完整代码ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答本篇