腾讯推出的AppAgent，是一个多模态智能体，通过识别当前手机的界面和用户指令直接操作手机界面，能像真实用户一样操作手机！机器学习周刊：关注Python、机器学习、深度学习、大模型等硬核技术1、如何学习深度学习？最近X上有推友重提这篇文章，是网友看过Jeremy教授的fast.ai深度学习课程后，把每节课提到的学习建议和忠告都总结了下来：https://forums.fast.ai/t/things-jeremy-says-to-do/36682/1我让ChatGPT、Claude、Gemini翻译并总结了这篇文章，Gemini完成的更加出色，给出了26条关于学习方法和一些细节的建议（强烈建
之前写了几篇关于如何使用HuggingFists系统搭建LLMRAG应用的文章。对于使用者来说，HuggingFists现在能带来两大点帮助。一是能够以低代码的方式快速处理客户的各类存量文档，如Word、Visio、PDF等。这些文档内容多样，其中不乏需要用到OCR等相关技术才能识别和抽取的内容；二是可以帮助使用者快速搭建出LLMRAG的研究环境，可以对比研究各LLM的差异，RAG的应答效果评估以及积累Prompt的相关知识。下面我们就介绍一下如何搭建使用HuggingFists完成RAG相关流程的预备环境。(注：访问下面的链接玩转数据之低代码LLMRAG准备篇_哔哩哔哩_bi
检索增强生成（Retrieval-augmentedgeneration，RAG）代表了生成式人工智能领域的重大进展，将高效的数据检索与大型语言模型的强大功能相结合。在其核心，RAG通过利用矢量搜索来挖掘相关且已存在的数据，将这些检索到的信息与用户的查询相结合，然后通过诸如ChatGPT之类的大型语言模型进行处理。这种RAG方法确保生成的响应不仅精确而且反映了当前信息，大大减少了输出中的不准确性或“幻觉”。然而，随着AI应用领域的不断扩展，对RAG的需求变得更加复杂和多样化。基本的RAG框架虽然强大，但可能不再足以满足不同行业和不断发展的用例的微妙需求。这就是先进的RAG技术发挥作用的地方。这
Mamba挑战了Transformers设定的传统规范，特别是在处理长序列方面。Mamba以其选择性状态空间脱颖而出，融合了lstm的适应性和状态空间模型的效率。我们今天来研究一下RAG、Mamba和Qdrant的协同工作，它们的有效组合保证了效率和可扩展性。Mamba在RAG中的作用Mamba体系结构在增强检索增强生成(RAG)的功能方面起着关键作用。它可以处理冗长的序列，特别适合提高RAG的效率和准确性。而与传统的状态空间模型相比，它的选择性状态空间模型允许更灵活和适应性更强的状态转换，使其在RAG上下文中非常有效。Mamba如何改善RAG1、Mamba的固有能力可以在计算资源有限的情况下
RAPTOR：递归摘要与树形检索的结合，提升RAG检索性能来源：ICLR'24https://arxiv.org/pdf/2401.18059.pdf随着LLM技术的发展，RAG的价值也来越明显，可以视作LLM应用、落地的一个主要方向。RAG通过结合检索系统和生成模型，在生成回答时先从外部知识库种检索相关信息，辅助LLM进行更准确的生成。知识的粒度是多样的、零散的。如何从知识库中精准地检索到相关的知识片段是一个极具挑战性地问题。概述在目前构建RAG系统的流程中，基本都会涉及到对文档进行分块（有没有不需要进行分块的方法呢？）。现行的方式主要是通过滑动窗口进行分块，调一调分块的大小等。私以为，如何
去年，哈佛大学做了件大事。他们在自己的CS50课程中引入了一整套AI工具，堪称学生个人的个性化「导师」。一开始，这套工具服务的对象是70来个上暑校的学生。后来逐渐开放，数千名线上学生也得以拥有属于自己的学习导师。到了秋季，AI工具又面向了几百位本校学生开放，反响不可谓不强烈。今天，我们通过一篇论文，来向全体读者朋友详细介绍这套AI工具的开发过程，相信每位同学都可以获益匪浅。哈佛个人AI导师首先，不同于传统学习过程中，学生们使用搜索引擎直接获得答案或是教学资料，这套工具的设计理念是，引导学生自主探索解决问题的方案，比较忌讳直接把答案摆出来。这也是为什么这套工具一经推广，学生们都爱不释手，并将它比
RAG是2023年最流行的基于LLM的应用系统架构。有许多产品几乎完全建立在RAG之上，覆盖了结合网络搜索引擎和LLM的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent作为大模型应用的两种主流架构，但什么是RAG呢？RAG又涉及了哪些具体的技术呢？1.什么是RAGRAG即检索增强生成，为LLM提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG基本上是Search+LLM提示，可以通过大模型回答查询，并将搜索算法所找到的信息作为大模型的上下文。查询和检索到的上下文都会被注入到发送到LLM的提示语中。嵌入式搜索引擎可以通过Faiss来实现，向量搜索领域成为了RAG的
LLMs之Vanna：Vanna(利用自然语言查询数据库的SQL工具+底层基于RAG)的简介、安装、使用方法之详细攻略目录Vanna的简介1、用户界面2、RAGvs.Fine-Tuning3、为什么选择Vanna？4、扩展VannaVanna的安装和使用方法1、安装2、训练(1)、使用DDL语句训练(2)、使用文档训练(3)、使用SQL训练3、提问问题Vanna的应用案例1、基础用法Vanna的简介Vanna是一个基于MIT许可的开源PythonRAG（检索增强生成）框架，用于SQL生成和相关功能。Vanna的工作原理分为两个简单步骤：在您的数据上训练一个RAG“模型”，然后提问问题，这将返回
在本文中我们将探讨使用开源大型语言多模态模型(LargeLanguageMulti-Modal)构建检索增强生成(RAG)系统。本文的重点是在不依赖LangChain或LLlamaindex的情况下实现这一目标，这样可以避免更多的框架依赖。什么是RAG在人工智能领域，检索增强生成(retrieve-augmentedGeneration,RAG)作为一种变革性技术改进了大型语言模型(LargeLanguageModels)的能力。从本质上讲，RAG通过允许模型从外部源动态检索实时信息来增强AI响应的特异性。该体系结构将生成能力与动态检索过程无缝结合，使人工智能能够适应不同领域中不断变化的信息。
写在前面检索增强能够有效缓解大模型存在幻觉和知识时效性不足的问题，RAG通常包括文本切分、向量化入库、检索召回和答案生成等基本步骤。近期组里正在探索如何对RAG完整链路进行评估，辅助阶段性优化工作。上周先对评估综述进行了初步的扫描，本篇分享其中一份评估benchmark，RGB。论文：https://arxiv.org/abs/2309.01431代码和数据：https://github.com/chen700564/RGBRAG评估benchmark-RGB写在前面1.核心思想2.评估维度和方式3.评估数据构建4.评估指标5.实验和结论设置5.1噪声鲁棒性5.2拒绝能力5.3信息整合能力5.
