草庐IT

llm-numbers

全部标签

LLM-Embedder

1.目标训出一个统一的embedding模型LLM-Embedder,旨在全面支持LLM在各种场景中的检索增强2.模型的四个关键检索能力knowledge:解决knowledge-intensive任务memory:解决long-contextmodelingexample:解决in-contextlearning(上下文学习)tool:解决toollearning3.要解决的问题嵌入模型必须优化其对LLM的最终检索增强影响,而不是仅仅关注中间检索结果不同的检索任务旨在捕捉不同的语义关系,它们的影响可能受到相互干扰4.basemodel是在BAAI/bge-base-en的基础上训练的5.训练

OpenAI最强竞品训练AI拆解LLM黑箱,意外窥见大模型「灵魂」

为了拆开大模型的「黑箱」,Anthropic可解释性团队发表了一篇论文,讲述了他们通过训练一个新的模型去理解一个简单的模型的方法。Anthropic发表的一项研究声称能够看到了人工智能的灵魂。它看起来像这样:图片图片论文地址:https://transformer-circuits.pub/2023/monosemantic-features/index.html#phenomenology-fsa在研究者看来,这个新的模型能准确地预测和理解原本模型中神经元的工作原理和组成机制。Anthropic的可解释性团队最近宣布他们成功分解了一个模拟AI系统中的抽象高维特征空间。创建一个可解释的AI去理

LLM生成延迟降低50%!DeepSpeed团队发布FastGen:动态SplitFuse技术,提升2.3倍有效吞吐量

GPT-4和LLaMA这样的大型语言模型(LLMs)已在各个层次上成为了集成AI的主流服务应用。从常规聊天模型到文档摘要,从自动驾驶到各个软件中的Copilot功能,这些模型的部署和服务需求正在迅速增加。像DeepSpeed、PyTorch和其他几个框架可以在LLM训练期间实现良好的硬件利用率,但它们在与用户互动及处理开放式文本生成等任务时,受限于这些操作的计算密集度相对较低,现有系统往往在推理吞吐量上遇到瓶颈。为了解决这一问题,使用类似vLLM这样由PagedAttention驱动的框架或是Orca系统可以显著提高LLM推理的性能。然而,这些系统在面对长提示的工作负载时,依旧难以提供良好的服

LLM之Prompt(二):清华提出Prompt 对齐优化技术BPO

论文题目:《Black-BoxPromptOptimization:AligningLargeLanguageModelswithoutModelTraining》论文链接:https://arxiv.org/abs/2311.04155github地址:https://github.com/thu-coai/BPOBPO背景介绍    最近,大型语言模型(LLM)在各种应用中都取得了显著的成功,比如文本生成,文生图大模型等。然而,这些模型往往与人类意图不太一致,这就需要对其进行额外的处理,即对齐问题。为了使LLM更好地遵循用户指令,现有的对齐方法(比如RLHF、RLAIF和DPO)主要侧重于

使用Accelerate库在多GPU上进行LLM推理

大型语言模型(llm)已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长,推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。所以本文将在多个gpu上并行执行推理,主要包括:Accelerate库介绍,简单的方法与工作代码示例和使用多个gpu的性能基准测试。本文将使用多个3090将llama2-7b的推理扩展在多个GPU上基本示例我们首先介绍一个简单的示例来演示使用Accelerate进行多gpu“消息传递”。fromaccelerateimportAcceleratorfromaccelerate.utilsimportgather_objectaccele

Android Number Picker 获取 textview 的值(value)

我正在使用带有数字选择器的警报对话框,但我不知道在按下警报的“确定”按钮时将数字选择器值获取到Activity中的TextView的简单方法。Activityjava代码:publicclassSecondActivityextendsActivity{publicvoidbutton2(Viewv){Viewv1=getLayoutInflater().inflate(R.layout.dialog1,null);NumberPickerpicker=(NumberPicker)v1.findViewById(R.id.np1);picker.setMinValue(1);picke

LLM正在重塑教育,所有学生都需要学习AI,RAG是解决幻觉的关键

LLM已经在重塑人类教育事业了!Nature今天刊文,探讨了教育行业的不同参与者,如何抓住LLM这个变革性的工具带来的机会,重新改造这项自人类文明诞生以来就存在的行业。文章链接:https://www.nature.com/articles/d41586-023-03507-3在作者看来,现在已经不是讨论以LLM为代表的AI技术是否应该进入课堂的时候了。没有人能够再调拨时钟,假装回到那个没有大语言模型的时代,对AI技术在教育领域的应用不闻不问。不论是学生,老师,还是教育机构,乃至教育工具提供商,都应该积极地把握LLM带来的机会,彻底地改变学习和教学的方式,才能应对教育行业即将发生的改变。LLM

数仓性能调优:row_number() over(p)-rn=1性能瓶颈发现和改写套路

本文分享自华为云社区《GaussDB(DWS)性能调优:row_number()over(p)-rn=1性能瓶颈发现和改写套路》,作者:Zawami。1、改写场景本套路应用于子查询中含有row_number()over(partitionbyorderby)rn,并仅把rn列用于分类排序后筛选最大值的场景。2、性能分析GaussDB中SQL语句的执行很多时候是流式的,即对每一条数据进行流水加工,各层算子同时在执行,缩短执行耗时。但是在一些场景下,需要先取得前一个算子的全部结果集,然后才能够进行下一步的加工;窗口函数就是其中的一种。观察执行计划可以看到,SQL会在计算得到rn列后,再同本层查询其

【2023】COMAP美赛数模中的大型语言模型LLM和生成式人工智能工具的使用

COMAP比赛中的大型语言模型和生成式人工智能工具的使用写在最前面GitHubCopilot工具说明局限性团队指南引文和引用说明人工智能使用报告英文原版UseofLargeLanguageModelsandGenerativeAIToolsinCOMAPContestslimitationsGuidanceforteamsCitationandReferencingDirectionsReportonUseofAI写在最前面COMAP竟然已经开始规范LLM的使用了,估计2024的美赛也会有这个说明详情可见:https://www.contest.comap.com/undergraduate/

AIGC之常见LLM免费使用

文章目录1.前言2.常见LLM免费使用方法(部分网站需要使用魔法)2.1GPT-4/GPT-3.5-16k国内镜像2.2GPT-3.5国内镜像2.3LLM国外综合网站3.总结1.前言自从ChatGPT在2022年底横空出世以来,一股大模型浪潮席卷全球,各大领域AIGC概念火爆。与此同时,国内外众多头部企业和初创企业纷纷入局,开启百模大战。NVIDIA公司老板黄仁勋更是喊出“人工智能的iPhone时刻已然来临”的口号。那么作为普通人,我们应该以什么样的姿态迎接变化?我觉得我们应该主动拥抱变化,成为第一批熟练使用AIGC工具提高生产效率的先行者。因此,本文旨在分享常见LLM免费使用方法以供大家参考