草庐IT

GenAI模型

全部标签

WhisperBot:整合了Mistral大型语言模型的实时语音转文本系统

项目简介欢迎来到WhisperBot。WhisperBot基于WhisperLive和WhisperSpeech的功能而构建,在实时语音到文本管道之上集成了大型语言模型Mistral(LLM)。WhisperLive依赖于OpenAIWhisper,这是一个强大的自动语音识别(ASR)系统。Mistral和Whisper都经过优化,可作为 TensorRT 引擎高效运行,从而最大限度地提高性能和实时处理能力。特征实时语音转文本:利用OpenAIWhisperLive将口语实时转换为文本。大型语言模型集成:添加大型语言模型Mistral,以增强对转录文本的理解和上下文。TensorRT优化:Mi

两个数组的动态规划——最长公共子序列模型

✅tips1.考虑空串,即dp表多出一行一列,代表某个字符串为空。2.考虑最后一个位置;是否相等;3.可在字符串最前面加虚拟位置以对应映射关系;4.一般横行是j,列是i。此时第一行代表第二个字符串不为空,即第一个字符串是空的1.最长公共子序列classSolution{//dp[i][j]表s1的[0,i]以及s2的[0,j]所有子序列中最长公共子序列的长度;//如果s[i]=s[j],那公共序列一定是以i,j为结尾publicintlongestCommonSubsequence(Strings1,Strings2){intm=s1.length(),n=s2.length();s1=""+

SpringCloud&Nacos注册中心服务分级存储模型

文章目录服务分级存储模型概述配置集群同集群优先的负载均衡权重配置命名空间总结之前对Nacos注册中心入门已经做了演示.这篇文章对Nacos的服务分级存储模型做理论与实践.服务分级存储模型概述一个服务可以有多个实例,例如我们的user-server,可以有:127.0.0.1:8081127.0.0.1:8082127.0.0.1:8083假如这些实例分布于全国各地的不同机房,例如:127.0.0.1:8081,在上海机房127.0.0.1:8082,在杭州机房127.0.0.1:8083,在杭州机房Nacos就将同一机房内的实例划分为一个集群。也就是说,user-server是服务,一个服务可

本地部署FastGPT使用在线大语言模型

FastGPT是一个基于LLM大语言模型的知识库问答系统,提供开箱即用的数据处理、模型调用等能力,它背后依赖OneApi开源项目来访问各种大语言模型提供的能力。各大语言模型提供的访问接口规范不尽相同,为此OneApi项目提供了统一的API接口去对接各种大语言模型。FastGPT的部署架构如图所示:本文章将介绍如何部署OneApi和FastGPT,以及两种在线大语言模型(AzureOpenAI和讯飞星火3.5)的配置方法。我将在Windows系统的WSL子系统上进行部署,WSL子系统安装的是Ubuntu22Linux系统,WSL的部署方式完全适用于真实的Linux系统。一、部署OneApiOne

效率起飞!天翼云并行文件服务HPFS高效应对AI时代大模型训练存储挑战!

国内外AI大模型层出不穷,训练数据复杂程度更是呈指数级增加。如今,在万亿级参数时代,单个资源池已无法满足大模型训练场景中动辄PB级的数据存储量,对于企业来说,启用多个资源池构成的分布式存储势在必行。  为了应对AI大模型训练对数据存储的需求,天翼云推出并行文件服务HPFS(CT-HPFS,HighPerformanceFileStorage),旨在为AI时代提供高性能存储底座,助力企业构建基于云资源的、更高效的大型模型训练平台,实现大模型的连续训练。天翼云HPFS可通过分布式存储实现数据的并发读取,同时提供最高百万IOPS和百GBPS的吞吐能力,显著提升了数据的读取速度,从而大大提升GPU卡的

一键Run带你体验扩散模型的魅力

本文分享自华为云社区《爆圈Sora横空出世,AGI通用人工智能时代真的要来了吗?一键Run带你体验扩散模型的魅力!》,作者:码上开花_Lancer。Sora这几天的爆炸性新闻,让所有人工智能相关从业者及对应用感兴趣的人群都感到沸腾,震撼到央视也在进行相关的讨论,简直可以和2023年初ChatGPT讨论带来的热潮一般。所以它到底为什么这么火?一、什么是SORA?Sora是OpenAI最新发布的文本生成视频模型,不仅可以生成长达一分钟的视频,且能完全遵照用户的 Prompt 并保持视觉质量。OpenAI这个公司的格局非常大,他想要做WorldSimulators(世界模拟器),做通用AGI,而不仅

基于SWIFT和Qwen1.5-14B-Chat进行大模型LoRA微调测试

基于SWIFT和Qwen1.5-14B-Chat进行大模型LoRA微调测试环境准备基础环境操作系统:Ubuntu18.04.5LTS(GNU/Linux3.10.0-1127.el7.x86_64x86_64)Anaconda3:Anaconda3-2023.03-1-Linux-x86_64根据服务器网络情况配置好conda源和pip源,此处使用的是超算山河源服务器硬件配置:CPU96核;GPU8×NVIDIAA10040GB环境安装通过源代码安装SWIFT:创建一个新的conda环境:condacreate--nameswiftpython=3.8激活刚刚创建的conda环境:condaa

本地快速部署谷歌开放模型Gemma教程(基于Ollama)

本地快速部署谷歌开放模型Gemma教程(基于Ollama)一、介绍Gemma1.1关键细节1.2尺寸性能二、部署Gemma2.1部署工具2.1部署步骤三、体验Gemma四、总结一、介绍GemmaGemma是一系列轻量级、最先进的开放式模型,采用与创建Gemini模型相同的研究和技术而构建。Gemma由GoogleDeepMind和Google的其他团队开发,其灵感来自Gemini,其名称反映了拉丁语gemma,意思是“宝石”。除了模型权重之外,还发布了工具来支持开发人员创新、促进协作并指导负责任地使用Gemma模型。1.1关键细节Gemma发布了两种尺寸的模型配重:Gemma2B和Gemma7

整理了上百个开源中文大语言模型,涵盖模型、应用、数据集、微调、部署、评测

自ChatGPT为代表的大语言模型(LargeLanguageModel,LLM)出现以后,由于其惊人的类通用人工智能(AGI)的能力,掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后,业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料,目前收录的资源已达100+个!目录技术交流1.模型1.1文本LLM模型1.2多模态LLM模型2.应用2.1垂直领域微调医疗法律金融教育科技自媒体电商网络安全2.2LangChain应用2.3其他应用3.数据集预训

AIGC 实战:如何使用 Ollama 开发自定义的大模型(LLM)

虽然Ollama提供了运行和交互式使用大型语言模型(LLM)的功能,但从头开始创建完全定制化的LLM需要Ollama之外的其他工具和专业知识。然而,Ollama可以通过微调在定制过程中发挥作用。以下是细分说明:预训练模型选择:Ollama提供了一个预训练的开源LLM库,例如Llama2。这些模型已经针对海量数据集进行了训练,可以用于各种任务。使用Ollama微调:Ollama允许您在您自己的特定数据上微调这些预训练模型。这包括在您的数据上训练模型,以提高其在与您的领域或用例相关的任务上的性能。Ollama的作用:Ollama通过以下方式简化微调过程:下载预训练模型。将模型转换为兼容格式。提供命