清华系2B模型杀出支持离线本地化部署，可以个人电脑或者手机上部署的多模态大模型，超越Mistral-7B、LLaMA-13B。2月1日，面壁智能与清华大学自然语言处理实验室共同开源了系列端侧语言大模型MiniCPM，主体语言模型MiniCPM-2B仅有24亿（2.4B）的非词嵌入参数量。在综合性榜单上与Mistral-7B相近，在中文、数学、代码能力表现更优，整体性能超越Llama2-13B、MPT-30B、Falcon-40B等模型。具体开源模型包括：基于MiniCPM-2B的指令微调与人类偏好对齐的MiniCPM-2B-SFT/DPO。基于MiniCPM-2B的多模态模型MiniCPM-V
引言自然语言处理(NLP)领域的进展日新月异，你方唱罢我登场。因此，在实际场景中，针对特定的任务，我们经常需要对不同的语言模型进行比较，以寻找最适合的模型。本文主要比较3个模型:RoBERTa、Mistral-7B及Llama-2-7B。我们用它们来解决一个常见问题——对灾难相关的推文进行分类。值得注意的是，Mistral和Llama2是70亿参数的大模型。相形之下，RoBERTa-large(355M参数)只是一个小模型，我们用它作为比较的基线。本文，我们使用PEFT(Parameter-EfficientFine-Tuning，参数高效微调)技术:LoRA(Low-RankAdaptati
「我现在100%确信Miqu与PerplexityLabs上的Mistral-Medium是同一个模型。」近日，一则关于「Mistral-Medium模型泄露」的消息引起了大家的关注。泄露传闻与一个名为「Miqu」的新模型有关，在评估语言模型情商的基准EQ-Bench（EQ-Bench与MMLU的相关性约为0.97、与ArenaElo的相关性约为0.94）上，Miqu直接吊打了除GPT-4之外的所有大模型，而且它的得分与Mistral-Medium非常接近：图源：https://x.com/N8Programs/status/1752441060133892503?s=20开源地址：https
👀日报&周刊合集|🎡生产力工具与行业应用大全|🧡点赞关注评论拜托啦！👀看热闹不嫌事大！马斯克：OpenAI首席科学家Ilya应该跳槽到xAIhttps://www.businessinsider.com/openai-cofounder-ilya-sutskever-invisible-future-uncertain-2023-12OpenAI内部「政变」余波仍在，除了陆续爆出的SamAltman各类负面信息，前首席科学家IlyaSutskever的终局也格外牵动人心。作为被董事会拉拢参与「政变」又首先妥协投降的关键人物，作为参与创建OpenAI却眼看着它越行越远的技术天才，IlyaSuts
随着LLaMA、Mistral等大语言模型的成功，各家大厂和初创公司都纷纷创建自己的大语言模型。但从头训练新的大语言模型所需要的成本十分高昂，且新旧模型之间可能存在能力的冗余。近日，中山大学和腾讯AILab的研究人员提出了FuseLLM，用于「融合多个异构大模型」。不同于以往的模型集成和权重合并，前者需要在推理时同时部署多个大语言模型，后者需要合并模型具备相同的结果，FuseLLM能够从多个异构大语言模型中外化知识，将各自的知识和能力通过轻量的持续训练转移到一个融合大语言模型中。该论文刚刚在arXiv上发布就引起了网友的大量关注和转发。有人认为，「当想要在另一种语言上训练模型时，使用这种方法是
原文：MistralAI发布首个开源MoE模型，魔搭社区推理微调最佳实践来啦！-知乎导读继Mistral7B后，MistralAI近日又放出一记大招——发布了引爆开源社区的首个MoE开源模型Mixtral8x7B，在Apache2.0许可证下可商用。Mixtral-8x7B是一款混合专家模型（MixtrueofExperts)，由8个拥有70亿参数的专家网络组成，这种结构不仅提高了模型处理信息的效率，还降低了运行成本。在能力上，Mixtral-8x7B支持32ktoken上下文长度，支持英语、法语、意大利语、德语和西班牙语，拥有优秀的代码生成能力，可微调为指令跟随模型（Mixtral8x7BI
为了提高性能，大型语言模型(llm)通常会通过增加模型大小的方法来实现这个目标，但是模型大小的增加也增加了计算成本和推理延迟，增加了在实际场景中部署和使用llm的障碍。MistralAI是一家总部位于巴黎的欧洲公司，一直在研究如何提高模型性能，同时减少为实际用例部署llm所需的计算资源。Mistral7B是他们创建的最小的LLM，它为传统的Transformer架构带来了两个新概念，Group-QueryAttention(GQA)和SlidingWindowAttention(SWA)。这些组件加快了推理速度，减少了解码过程中的内存需求，从而实现了更高的吞吐量和处理更长的令牌序列的能力。此外
2023一年又过去，这一年，AI圈子以一种“狂飙突进”的速度飞速发展，哪怕在这个领域深耕多年的学者们也开始感叹“从没有见过哪个领域在哪一年如同AI领域在2023年这样如此飞速的发展与不断的进化”，毫无疑问，这一年AI，尤其是大模型的爆发将会深刻影响未来我们生活的方方面面。 抱着年终总结，也是对过去的2023这一里程碑式的一年回顾与展望的态度，来自AheadAI的SebastianRaschka博士为我们带来了2023年最值得大家关注，也是最有影响力的十篇AI论文，这里我们就和大家一起，用这十篇工作再次为2023年写下一段注脚（十篇论文不分先后）一、Pythia—大模型该如何训练？ 来自
一、RAG介绍 如何使用没有被LLM训练过的数据来提高LLM性能？检索增强生成（RAG）是未来的发展方向，下面将解释一下它的含义和实际工作原理。 假设您有自己的数据集，例如来自公司的文本文档。如何让ChatGPT和其他LLM了解它并回答问题？ 这可以通过四个步骤轻松完成：Embedding：使用embedding模型对文档进行embedding操作，比如OpenAI的text-Embedding-ada-002或S-BERT（https://arxiv.org/abs/1908.10084）。将文档的句子或单词块转换为数字向量。就向量之间的距离而言，彼此相似的句子应该很近，而
🦉AI新闻🚀开源MoE大模型震惊开源社区摘要：上周末，Mistral开源了一款震惊开源社区的MoE大模型。MoE是一种神经网络架构设计，能够提升大语言模型的性能。通过使用MoE，每个输入token都可以动态路由到专家子模型进行处理，实现更高效的计算和更好的结果。MoE的关键组件包括专家和路由器，专家可以专门处理不同任务或数据的不同部分，而路由器用于确定将哪些输入token分配给哪些专家。MoE在Transformer等大语言模型中发挥重要作用，能够添加可学习参数、利用稀疏矩阵高效计算以及并行计算专家层等。Mistral的7B×8E的开源模型性能已经接近GPT-4，对开源社区产生了巨大影响。🚀大
