草庐IT

Efficient-LLMs-Survey

全部标签

[AI]如何让语言模型LLMs流式输出:HuggingFace Transformers实现

HugginFaceTransforms是一个非常方便的库,集成了非常多SOTA的模型,包含:LLAMA,GPT,ChatGLMMoss,等。目前基本上主流的方案都是基于HugginFaceTransforms这个框架实现的。以前如果要流式输出需要自己去改模型底层的推理逻辑。如ChatGLM,自己实现的流式输出如下:#chatglm-6bmodel/modeling_chatglm.py@torch.no_grad()defstream_chat(self,tokenizer,query:str,history:List[Tuple[str,str]]=None,max_length:int=

flutter - 如何实现 "efficient way"的Scaffold.of()包装

将snackbar显示为Action的输出需要为Scaffold.of()创建一个子上下文,如Scaffold的手册中所述ofmethod.但我找不到此处描述的这种更“有效方法”的示例。Amoreefficientsolutionistosplityourbuildfunctionintoseveralwidgets.ThisintroducesanewcontextfromwhichyoucanobtaintheScaffold.Inthissolution,youwouldhaveanouterwidgetthatcreatestheScaffoldpopulatedbyinsta

flutter - 如何实现 "efficient way"的Scaffold.of()包装

将snackbar显示为Action的输出需要为Scaffold.of()创建一个子上下文,如Scaffold的手册中所述ofmethod.但我找不到此处描述的这种更“有效方法”的示例。Amoreefficientsolutionistosplityourbuildfunctionintoseveralwidgets.ThisintroducesanewcontextfromwhichyoucanobtaintheScaffold.Inthissolution,youwouldhaveanouterwidgetthatcreatestheScaffoldpopulatedbyinsta

LLMs之llama_7b_qlora:源代码解读inference.py(基于合并后的权重文件进行模型推理)将基于之前合并Lora模型权重后的hl_llama_7b模型进行文本生成(基于用户交互输入

LLMs之llama_7b_qlora:源代码解读inference.py(基于合并后的权重文件进行模型推理)将基于之前合并Lora模型权重后的hl_llama_7b模型进行文本生成(基于用户交互输入的上下文生成新文本)目录

python - SQLite3 Python : How to do an efficient bulk update?

我可以使用以下代码在Python(2.7)上的Sqlite3中进行非常高效的批量插入:cur.executemany("INSERTINTO"+tableName+"VALUES(?,?,?,?);",data)但我无法获取更新以高效工作。我认为这可能是数据库结构/索引的问题,但即使在只有一个100行的表的测试数据库上,更新仍然需要大约2-3秒。我尝试了不同的代码变体。我拥有的最新代码来自thisanswer之前关于update和executemany的问题,但它对我来说和我所做的任何其他尝试一样慢:data=[]forsinsources:source_id=s['source_id

python - SQLite3 Python : How to do an efficient bulk update?

我可以使用以下代码在Python(2.7)上的Sqlite3中进行非常高效的批量插入:cur.executemany("INSERTINTO"+tableName+"VALUES(?,?,?,?);",data)但我无法获取更新以高效工作。我认为这可能是数据库结构/索引的问题,但即使在只有一个100行的表的测试数据库上,更新仍然需要大约2-3秒。我尝试了不同的代码变体。我拥有的最新代码来自thisanswer之前关于update和executemany的问题,但它对我来说和我所做的任何其他尝试一样慢:data=[]forsinsources:source_id=s['source_id

[综述] Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era

论文|改文章是23年5月27日挂在arxiv上,本文重点关注4.1节TextGuided3DAvatarGeneration、4.4节TextGuided3DShapeTransformation和第5章DiscussionTextGuided3DAvatarGenerationDreamAvatarDreamAvatar:Text-and-ShapeGuided3DHumanAvatarGenerationviaDiffusionModelshttps://arxiv.org/abs/2304.00916生成姿态可控的高质量3D人体avatar,包含以下几个部分:TrainableNeRF:

论文笔记--LLaMA: Open and Efficient Foundation Language Models

论文笔记--LLaMA:OpenandEfficientFoundationLanguageModels1.文章简介2.文章概括3文章重点技术3.1数据集3.2模型训练4.数值实验5.文章亮点6.原文传送门7.References1.文章简介标题:LLaMA:OpenandEfficientFoundationLanguageModels作者:Touvron,Hugo,etal.日期:2023期刊:arxivpreprint2.文章概括  文章利用公开数据集训练并发布了一系列大语言模型LLaMA,在多个NLP下游任务中性能超过了GPT-3和PALM等模型。3文章重点技术3.1数据集Englis

注意力机制——ECANet(Efficient Channel Attention Network)

ECANet(EfficientChannelAttentionNetwork)是一种新颖的注意力机制,用于深度神经网络中的特征提取,它可以有效地减少模型参数量和计算量,提高模型的性能。ECANet注意力机制是针对通道维度的注意力加权机制。它的基本思想是,通过学习通道之间的相关性,自适应地调整通道的权重,以提高网络的性能。ECANet通过两个步骤实现通道注意力加权:   1.提取通道特征       2.计算通道权重用pytorch实现ECANet注意力机制:importtorchimporttorch.nnasnnimporttorch.nn.functionalasFclassECANet

database - An Efficient Lookup Table in redis--使用redis sets实现?

我想使用redis来存储大量的user_ids以及其中的每一个ids,该用户先前分配给的“组ID”:User_ID|Group_ID1043|22403|1user_id的数量相当大(约1000万);独特的数量组ID大约为3-5。我做这个LuT的目的是例行公事:找到给定用户的组ID;和返回具有相同的其他用户(指定长度)的列表给定用户的组ID在Redis中可能有一种惯用的方法来执行此操作,或者至少是一种最有效的方法。如果是这样,我想知道它是什么。这是我的工作实现的简化版本(使用python客户端):#assumearedisserverisalreadyrunning#createsom