Efficient-LLMs-Survey
全部标签LLMs:LangChain-Chatchat(一款可实现本地知识库问答应用)的简介(支持ChatGLM-2/LLaMA-2等多款主流LLMs)、安装、使用方法之详细攻略目录LangChain-Chatchat的简介1、原理图解2、文档处理实现流程3、模型支持(1)、LLM模型支持(2)、Embedding模型支持LangChain-Chatchat的安装1、镜像部署T1、基于AutoDL平台云端部署镜像第一步,注册AutoDL,并选择租赁合适的服务器套餐(按时计费)第二步,创建镜像第1个终端,启动LLM服务第2个终端,启动API服务第3个终端,启动WebUI服务T2、Docker镜像本地部署
目录Firstkeyenabler:VertexAIEmbeddingsforText第一个关键推动因素:文本的顶点AI嵌入Whatisembeddings? 什么是嵌入?
LLMs之LLaMA-2:基于LocalGPT利用LLaMA-2模型实现本地化的知识库(Chroma)并与本地文档(基于langchain生成嵌入)进行对话问答图文教程+代码详解之详细攻略导读:总体来说,该项目基本能够实现本地化的知识库,并与本地文档进行对话问答,且能定位答案来源。但缺点也很明显:>>响应时间较长—建议采用低成本量化部署改进:本文章因为是采用的CPU,导致回答的响应时间较长,问一句话需要好几分钟。采用CPU的确太慢,但是,落地使用GPU成本又太高,这需要一个权衡。>> LLaMA2本身对中文不太友好—建议先对中文语料库进行微调(或直接采用中文LLMs,比如ChatGLM2-6B
Dataset之NLP之LLMs:自然语言处理领域—大语言模型LLMs相关开源数据集的简介(三类数据集【预训练数据/微调数据/测试数据】)、下载(国内外开源数据集平台总结)、使用方法之详细攻略目录相关文章综述中的数据集
遥感多模态参考:FromSingle-toMulti-modalRemoteSensingImageryInterpretation:ASurveyandTaxonomyKeywords:multimodalremotesensing文章目录遥感多模态AbstractIntroductionTaxonomy1.Multi-sourceAlignment1.1SpatialAlignment1.2TemporalAlignment1.3Cross-elementAlignment1.4RelatedworkandChallenges2.Muti-sourceFusion2.1Homogeneou
基因组组装之前,有一些问题还是需要注意的,genomesize是多少?评估得到的genomeheterozygosity是多少?重复序列的占比是多少?可以系统性地称为genomesurvey,这是一个非常简单的分析,但是其实有一些问题是值得注意的GenomeSurvey一般基于Illuminashortreads进行分析,因为二代测序便宜,先测出来试试水,再判断三代的数据量,这应该算是一个非常经济实惠的做法。分析流程1)fastp、Trimmomatic等软件挑一个过滤低质量序列2)Jellyfish2.3.0、KMC3我个人其实比较喜欢KMC,因为可以直接读取.gz文件(绝对不是因为之前KM
文献阅读:LLaMA:OpenandEfficientFoundationLanguageModels1.文章简介2.模型训练1.训练数据2.模型结构3.模型训练1.Optimizer2.效率优化3.效果评估1.经典任务下效果1.CommenSenseReasoning2.Closed-bookQuestionAnswering3.ReadingComprehension4.Mathematicalreasoning5.Codegeneration6.MassiveMultitaskLanguageUnderstanding7.Evolutionofperformanceduringtrain
ASurveyonGenerativeDiffusionModelAbstract由于深度潜在表示,深度学习在生成任务中显示出良好的潜力。生成模型是一类可以根据某些隐含参数随机生成观测值的模型。近年来,扩散模型以其强大的生成能力成为生成模型的一个新兴类别。如今,已经取得了巨大的成就。除了计算机视觉、语音生成、生物信息学和自然语言处理之外,该领域还有更多的应用有待探索。然而,扩散模型有其真正的缺点,即生成过程慢,数据类型单一,可能性低,无法降维。它们导致了许多改进的工作。本文对扩散模型研究领域进行了综述。我们首先用两个里程碑式的作品——DDPM和DSM,以及一个统一的里程碑式的作品——Score
LangChain是大型语言模型(LLM)的应用框架,LangChain可以直接与 OpenAI 的 text-davinci-003、gpt-3.5-turbo 模型以及 Hugging Face 的各种开源语言模如 Google 的 flan-t5等模型集成。通过使用LangChain可以开发出更为强大和高效的LLM的各种应用。信息抽取我们给LLM提供一篇文章,我们希望LLM能帮我们把文章的主要内容罗列出来,文字尽量精简,简明扼要,如果想达到这样的目的,通过调用LLM提供的API似乎也能实现,但是Prompt可能会比较复杂,要把prompt写清楚,让LLM能够理解您的意图,可能也不是一件
开放和高效的基础语言模型Paper:https://arxiv.org/abs/2302.13971Code:https://github.com/facebookresearch/llama摘要本文介绍了LLaMA,这是⼀个包含7B到65B参数的基础语⾔模型的集合。作者在数万亿个令牌上训练模型,并表明可以仅使⽤公开可⽤的数据集来训练最先进的模型。特别是,LLaMA-13B在⼤多数基准测试中都优于GPT-3(175B),并且LLaMA65B与最好的模型Chinchilla-70B和PaLM-540B具有竞争⼒。实验数据集训练数据集是多个来源的混合,如表1所示,涵盖了不同的领域。总体而言,作者的