从2022年12月以来，chatGPT 的横空出世掀起了新一波的 AI 浪潮，热度一直居高不下直到现在。半年时间里，从底层模型 API 到上层应用的生态逐渐建立，经过一轮轮迭代不断完善创新。本文将结合开源框架和应用程序，从工程师的角度，与大家讨论如何对大语言模型进行封装和应用，并从工程层面解决现有问题，搭建完整可商用的 AI 应用程序。LLM，LargeLanguageModel，即大语言模型。这个“大”是说参数量大（通常数十亿个权重或更多），是一种语言模型的概念。为了更深入理解，我们选用OpenAI 公司的 GPT 模型进行讨论。本文实验都在 GPT3.5 的模型上进行（GPT4 太贵了）。
AIVtuber✨AIVtuber✨AIVtuber是一个由ChatterBot/GPT/Claude/langchain本地or云端/chatglm/text-generation-webui做为"大脑"驱动的虚拟主播（Live2D），可以在Bilibili/抖音/快手直播中与观众实时互动或者直接在本地和您进行聊天。它使用自然语言处理和文本转语音技术(Edge-TTS/VITS-Fast/elevenlabs)生成对观众问题的回答并可以通过so-vits-svc/DDSP-SVC变声；另外还可以通过特定指令协同StableDiffusion进行画图展示。并且可以自定义文案进行循环播放。视频教
大语言模型学习之LLAMA2：OpenFoundationandFine-TunedChatModel快速了解预训练预训练模型评估微调有监督微调（SFT）人类反馈的强化学习（RLHF）RLHF结果局限性安全性预训练的安全性安全微调上手就干使用登记代码下载获取模型转换模型搭建Text-Generation-WebUI分发模型参考资料自从开源以来，LLAMA可以说是AI社区内最强大的开源大模型。但因为开源协议问题，一直不可免费商用。近日，Meta发布了期待已久的免费可商用版本LLAMA2。在这项工作中，我们开发并发布了LLAMA2，这是一系列预训练和微调的大型语言模型（LLMs），规模从70亿到7
YOlov5-6.0+TensorRT+dll+python/c++调用简介1.项目环境2.TensorRT验证1.在tensorrtx-yolov5-v6.0\yolov5目录下新建build目录2.编写CMake.txt,根据自己目录更改2（OpenCV_DIR）、3（TRT_DIR）、10（Dirent_INCLUDE_DIRS）3.打开Cmake工具，设置目录后，依次点击Configue、Generate、OpenProject(我自己的打不开报错，不影响)4.在build目录下查看生成的文件5.用Visualstudio打开**yolov5.sln**文件，设置CUDA自定义文件6.
文章目录1.PromptTuning含义1.1解决问题1.2语言模型分类1.3Prompt-Tuning的研究进展1.4如何挑选合适的Pattern?1.5Prompt-Tuning的本质1.5.1Prompt的本质是一种对任务的指令1.5.2Prompt的本质是一种对预训练任务的复用；1.5.3Prompt的本质是一种参数有效性学习；2.经典的预训练模型2.1MaskedLanguageModeling（MLM）2.2NextSentencePrediction（NSP）3.测试Fine-tuning
工欲善其事，必先利其器查看本机适配的CUDA版本要想安装TensorRT必须要先安装CUDA和cudnn，那么首先需要去查看自己电脑的英伟达驱动程序程序，位置如下：NVIDIA控制面板->帮助->组件，如下图所示本机适配CUDA版本为11.6下载CUDA安装包进入CUDA安装包的下载地址如下：CUDAToolkit11.6Downloads|NVIDIADeveloper按照机器适配版本，下载好安装包；如果没有帐户，需要先进行注册下载cuDNN安装包进入英伟达官方网站，选择和自己适配的cuDNN版本，地址如下：cuDNNDownload|NVIDIADeveloper如果没有帐户，需要先进行注
简介最近在尝试将文心一言的LLM能力接入Promptulate，故写了一篇博客记录一下，Promptulate是PromptulateAI旗下的大语言模型自动化与应用开发框架，旨在帮助开发者通过更小的成本构建行业级的大模型应用，其包含了LLM领域应用层开发的大部分常用组件，如外部工具组件、模型组件、Agent智能代理、外部数据源接入模块、数据存储模块、生命周期模块等。通过Promptulate，你可以轻松构建起属于自己的LLM应用程序。Promptulate官网将文心一言接入Promptulate之后，便可以轻松地利用Promptulate构建一些复杂能力，如让大语言模型使用工具。文心一言介绍
「GPU贫民」即将告别困境！刚刚，英伟达发布了一款开源软件TensorRT-LLM，能够加速H100上大型语言模型的推理。那么，具体能提升多少倍？在添加了TensorRT-LLM及其一系列优化功能后（包括In-Flight批处理），模型总吞吐量提升8倍。使用和不使用TensorRT-LLM的GPT-J-6BA100与H100的比较另外，就拿Llama2来说，相较于单独使用A100，TensorRT-LLM可以将推理性能提高4.6倍。使用和不使用TensorRT-LLM的Llama270B、A100与H100的比较网友表示，超强H100，再结合上TensorRT-LLM，无疑将彻底改变大型语言模
LLM大模型的本质：一个超高阶函数（函数式编程思想，高阶函数），大模型的本质是有巨大数量的函数复合组成的超高阶函数。——禅与计算机程序设计艺术文章目录LLM大型模型本质：采用函数式编程的超高阶函数思想1.函数式编程与超高阶函数的概念函数式编程超大量函数复合2.LLM大型模型中的函数复合设计Transformer模型如果用函数来表达3.大型模型架构中的函数式编程技巧与实践4.面向大型模型的函数式编程优势和挑战5.函数式编程在未来大型模型发展中的潜力和展望大型模型的优势与挑战总结将来展望在计算机科学领域，大模型不断改变着各种问题的解决方法和人们的工作方式。这些大型模型深度顶尖、参数数量众多，其内部
文章目录一.简介1.1什么是Faiss1.2Faiss的安装二.Faiss检索流程2.1构建向量库2.2构建索引2.3top-k检索三.Faiss构建索引的多种方式3.1Flat：暴力检索3.2IVFxFlat：倒排暴力检索3.3IVFxPQy倒排乘积量化3.4LSH局部敏感哈希3.5HNSWx一.简介1.1什么是FaissFaiss的全称是FacebookAISimilaritySearch，是Facebook的AI团队针对大规模相似度检索问题开发的一个工具，使用C++编写，有python接口，对10亿量级的索引可以做到毫秒级检索的性能。简单来说，Faiss的工作就是把我们自己的候选向量集封
