一、RAG介绍 如何使用没有被LLM训练过的数据来提高LLM性能？检索增强生成（RAG）是未来的发展方向，下面将解释一下它的含义和实际工作原理。 假设您有自己的数据集，例如来自公司的文本文档。如何让ChatGPT和其他LLM了解它并回答问题？ 这可以通过四个步骤轻松完成：Embedding：使用embedding模型对文档进行embedding操作，比如OpenAI的text-Embedding-ada-002或S-BERT（https://arxiv.org/abs/1908.10084）。将文档的句子或单词块转换为数字向量。就向量之间的距离而言，彼此相似的句子应该很近，而
文章目录系列开源大模型LlamaChinese-LLaMA-AlpacaLlama2-ChineseLinlyYaYistanford_alpacaChatGLMtransformersGPT-3（未完全开源）BERTT5QwenBELLE
论文标题：3D-LLM:Injectingthe3DWorldintoLargeLanguageModels论文作者：YiningHong,HaoyuZhen,PeihaoChen,ShuhongZheng,YilunDu,ZhenfangChen,ChuangGan作者单位：UniversityofCalifornia,LosAngeles,ShanghaiJiaoTongUniversity,SouthChinaUniversityofTechnology,UniversityofIllinoisUrbana-Champaign,MassachusettsInstituteofTechno
Llama2是开源LLM发展的一个巨大里程碑。最大模型及其经过微调的变体位居HuggingFaceOpenLLM排行榜（https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard）前列。多个基准测试表明，就性能而言，它正在接近GPT-3.5（在某些情况下甚至超过它）。所有这些都意味着，对于从RAG系统到Agent的复杂LLM应用程序，开源LLM是一种越来越可行和可靠的选择。一、Llama-2–7B不擅长从文本到SQL 最小的Llama2模型（7B参数）有一个缺点是它不太擅长生成SQL，因此它不适用于结构化分析示
大型语言模型(LLM)越来越多地用于需要多个链式生成调用、高级prompt技术、控制流以及与外部环境交互的复杂任务。然而，用于编程和执行这些应用程序的现有高效系统存在着明显的缺陷。现在，开源社区的研究者们面向LLM提出了一种结构化生成语言（StructuredGenerationLanguage）——SGLang。SGLang能够增强与LLM的交互，通过联合设计后端运行时系统和前端语言，使LLM更快、更可控。机器学习领域知名学者、CMU助理教授陈天奇还转发了这项研究。总的来说，SGLang的贡献主要包括：在后端，研究团队提出了RadixAttention，这是一种跨多个LLM生成调用的KV缓存
一.引言目前国内大部分开源模型都集中在7B、13B，而国外开源模型则是集中在7B、13B、70B的尺寸范围，算法开发很需要一个介于13B-70B的大模型，弥补13B模型能力不足和70B模型显卡不够的空档。虽然LLaMA-1-33B有一些衍生的Chinese版本，但是LLaMA2后期并未更新维护该模型，作者在测试中发现LLaMA-1-33B能力与新版的Baichuan-2-13B相近，所以放弃了这款33B模型。11月零一万物正式开源发布首款预训练大模型Yi-34B，今天也顺便分享下Yi-34B模型以及其LoRA微调，有需要的同学欢迎评论区交流讨论～二.零一万物1.模型简介模型地址: https:
Yang,S.,Liu,J.,Zhang,R.,Pan,M.,Guo,Z.,Li,X.,Chen,Z.,Gao,P.,Guo,Y.,&Zhang,S.(2023).LiDAR-LLM:ExploringthePotentialofLargeLanguageModelsfor3DLiDARUnderstanding.InarXiv[cs.CV].arXiv.http://arxiv.org/abs/2312.14074最近，大型语言模型（LLMs）和多模态大型语言模型（MLLMs）在指令跟随和2D图像理解方面表现出了潜力。虽然这些模型很强大，但它们尚未被开发成能够理解更具挑战性的3D物理场景，特
指令微调的局限性指令微调对于训练llm的能力至关重要，而模型的有用性在很大程度上取决于我们从小指令数据集中获得最大信息的能力。在本文中，我们提出在微调正向传递的过程中，在训练数据的嵌入向量中添加随机噪声，论文实验显示这个简单的技巧可以提高指令微调的效果，通常有很大的优势，而不需要额外的计算或数据开销。NEFTune虽然简单，但对下游的会话质量有很大的影响。当像LLaMA-2-7B这样的原始LLM被噪声嵌入所微调时，AlpacaEval从29.8%提高到64.7%（图1），令人印象深刻地提高了约35个百分点。NEFTune可以实现在会话任务上惊人的性能跳跃，同时在事实问题回答基线上保持性能，这种
SamAltman在各种场合都提到，大语言模型的多模态能力，是未来AI技术能够造福人类的最亟待突破的领域。那么现在在多模态大模型的视觉功能能否达到与语言功能匹配的水平？当前多模态模型取得的进步很大程度上归功于大语言模型（LLM）的推理能力。但在视觉方面，模型往往只基于实例级别的对比语言-图像预训练（CLIP）。最近，来自纽约大学和UC伯克利的团队研究表明，多模态大语言模型（MLLM）在视觉处理方面仍存在普遍性的缺陷。其中，团队成员堪称「豪华」，除了领队谢赛宁外，共同参与还有马毅和LeCun两位大佬。论文地址：https://arxiv.org/abs/2401.06209开源项目：https:
论文标题：LLM+P:EmpoweringLargeLanguageModelswithOptimalPlanningProficiency论文作者：BoLiu,YuqianJiang,XiaohanZhang,QiangLiu,ShiqiZhang,JoydeepBiswas,PeterStone作者单位：DepartmentofComputerScience,TheUniversityofTexasatAustin,DepartmentofComputerScience,StateUniversityofNewYorkatBinghamton,SnoyAI论文原文：https://arxi
