《论文阅读》ChatGPT相关技术之思维链（CoTinLLMs）2023-3-17组会记录ChatGPT相关技术之思维链（CoTinLLMs）前言语言模型到思维链的提出方向1：Scaling-up方向2：PromptPromptingIn-contextlearningN-shotlearningZero-shotOne-shotFew-shotChainofThought（CoT）Zero-shot-CoTSelf-consistencyCoT问题与

文章目录一.背景介绍二.LangChain简介2.1常见应用场景三.LangChain特点3.1优点3.2不足四.LangChain功能4.1基础功能4.2功能模块4.2.1LLM和Prompts4.2.2Chain4.2.3Agent4.2.4Memory4.2.5Embedding4.2.6Models4.2.7Indexes五.实战案例5.1背景需求5.2数据准备5.3数据处理5.4通过openai的Embeddings训练5.5接入聊天api一.背景介绍在过去几年中，大型语言模型(LLM)席卷了人工智能世界。随着OpenAI的GPT-3在2020年的突破性发布，我们见证了LLM的受欢迎

即使RTX3090有着24GB的RAM，是除了A100之外显存最大的显卡。但使用一块RTX3090依然无法fp32精度训练最小号的LLaMA-6B。估算模型所需的RAM首先，需要了解如何根据参数量估计模型大致所需的RAM，这在实践中有很重要的参考意义。需要通过估算设置batch_size，设置模型精度，选择微调方法和参数分布方法等。接下来用LLaMA-6B模型为例估算其大致需要的内存。精度对所需内存的影响：fp32精度，一个参数需要32bits,4bytes.fp16精度，一个参数需要16bits,2bytes.int8精度，一个参数需要8bits,1byte.模型需要的RAM大致分三个部分：

如果您还没有看过我之前写的两篇博客，请先看一下，这样有助于对本文的理解：LangChain与大型语言模型(LLMs)应用基础教程:Prompt模板LangChain与大型语言模型(LLMs)应用基础教程:信息抽取LangChain是大型语言模型(LLM)的应用框架,LangChain可以直接与OpenAI的text-davinci-003、gpt-3.5-turbo模型以及HuggingFace的各种开源语言模如Google的flan-t5等模型集成。通过使用LangChain可以开发出更为强大和高效的LLM的各种应用。在ChatGPT中角色定义在和让大型语言模型(LLM)如ChatGPT等对

我们知道Openai的聊天机器人可以回答用户提出的绝大多数问题,它几乎无所不知，无所不能，但是由于有机器人所学习到的是截止到2021年9月以前的知识，所以当用户询问机器人关于2021年9月以后发送的事情时，它无法给出正确的答案，另外用户向机器人提问的字符串(prompt)长度被限制在4096个token(token可以看作是一种词语单位)。如果用户的prompt的长度超过4096个token时，机器人通常会抛出一个“异常”提示信息： 我们想要做的是让像openai聊天机器人这样的大型语言模型(LLMs)学习特定领域内的知识，这些特定的领域的知识可能是几本电子书，几十个文本文件，或者是关系型数据

我们知道Openai的聊天机器人可以回答用户提出的绝大多数问题,它几乎无所不知，无所不能，但是由于有机器人所学习到的是截止到2021年9月以前的知识，所以当用户询问机器人关于2021年9月以后发送的事情时，它无法给出正确的答案，另外用户向机器人提问的字符串(prompt)长度被限制在4096个token(token可以看作是一种词语单位)。如果用户的prompt的长度超过4096个token时，机器人通常会抛出一个“异常”提示信息： 我们想要做的是让像openai聊天机器人这样的大型语言模型(LLMs)学习特定领域内的知识，这些特定的领域的知识可能是几本电子书，几十个文本文件，或者是关系型数据