10月20日消息，斯坦福大学日前发布了AI基础模型“透明度指标”，其中显示指标最高的是Meta的Lama2，但相关“透明度”也只有54%，因此研究人员认为，市面上几乎所有AI模型，都“缺乏透明度”。据悉，这一研究是由HAI基础模型研究中心（CRFM）的负责人RishiBommasani所主导，调查了海外最流行的10款基础模型：Meta的Llama2、BigScience的BloomZ、OpenAI的GPT-4、StabilityAI的StableDiffusion、AnthropicPBC的Claude、谷歌的PaLM2、Cohere 的Command、AI21Labs的Jurassic-2、
在算力为王的时代，你的GPU可以顺畅的运行大模型（LLM）吗？对于这一问题，很多人都难以给出确切的回答，不知该如何计算GPU内存。因为查看GPU可以处理哪些LLM并不像查看模型大小那么容易，在推理期间（KV缓存）模型会占用大量内存，例如，llama-2-7b的序列长度为1000，需要1GB的额外内存。不仅如此，模型在训练期间，KV缓存、激活和量化都会占用大量内存。我们不禁要问，能不能提前了解上述内存的占用情况。近几日，GitHub上新出现了一个项目，可以帮你计算在训练或推理LLM的过程中需要多少GPU内存，不仅如此，借助该项目，你还能知道详细的内存分布情况、评估采用什么的量化方法、处理的最大上
只需微调一下，大模型支持上下文大小就能从1.6万tokens延长至100万？！还是在只有70亿参数的LLaMA2上。要知道，即使是当前最火的Claude2和GPT-4，支持上下文长度也不过10万和3.2万，超出这个范围大模型就会开始胡言乱语、记不住东西。现在，一项来自复旦大学和上海人工智能实验室的新研究，不仅找到了让一系列大模型提升上下文窗口长度的方法，还发掘出了其中的规律。按照这个规律，只需调整1个超参数，就能确保输出效果的同时，稳定提升大模型外推性能。外推性，指大模型输入长度超过预训练文本长度时，输出表现变化情况。如果外推能力不好，输入长度一旦超过预训练文本长度，大模型就会“胡言乱语”。所
概述这篇文章探讨了利用多视角微调方法提高数学推理的泛化能力。数学推理在相对较小的语言模型中仍然是一个挑战，许多现有方法倾向于依赖庞大但效率低下的大语言模型进行知识蒸馏。研究人员提出了一种避免过度依赖大语言模型的新方法，该方法通过有效利用具有不同注释格式的现有数学问题数据集来进行训练。区别于过去的方法，该方法充分考虑不同的注释格式，并在训练模型时利用它们。模型通过在输入问题后附加不同的指令来灵活地学习生成多种格式的解决方案。实验结果表明，该方法使得LLaMA-7B模型在超越使用知识蒸馏的先前方法和谨慎建立的基准线的同时，实现了更好的表现。该论文提出的研究方法是一种多视角微调方法，能够高效地利用具
本文分享自华为云社区《基于MindSpore的ChatGLM微调》，作者：JeffDing。基于MindSpore的ChatGLM微调克隆HuggingFace模型克隆chatglm-6b代码仓，下载分布式的模型文件gitlfsinstallgitclonehttps://huggingface.co/THUDM/chatglm-6b准备环境安装Transformerpipinstalltransformers执行python脚本，合并模型权重。fromtransformersimportAutoModelimporttorchasptpt_ckpt_path="./models/chatgl
什么是Serge？Serge是基于llama.cpp运行Alpaca模型的聊天界面。完全自托管，不需要API密钥。适合4GBRAM并且能在CPU上运行。什么是LLaMA?LLaMA是一种机器学习算法，全称为LaplacianRegularizedLeastSquaresforMultipleKernelLearning。它是一种多核学习方法，可以用于处理多个核函数的数据集，以提高分类或回归的准确性。LLaMA算法利用拉普拉斯正则化技术来平衡不同核函数的贡献，从而提高分类或回归的性能。LLaMA算法已经在许多领域得到了广泛的应用，包括生物信息学、图像识别、自然语言处理等。什么是llama.cpp
导读： 本文介绍了CodeLlama的简介、本地化部署、测试和应用实战方案，帮助学习大语言模型的同学们更好地应用CodeLlama。我们详细讲解了如何将CodeLlama部署到实际应用场景中，并通过实例演示了如何使用CodeLlama进行代码生成和优化。最后，总结了CodeLlama的应用实战经验和注意事项。（有图有真相）：目录一、CodeLlama简介二、CodeLlama性能分析
微调类型简介1.SFT监督微调：适用于在源任务中具有较高性能的模型进行微调，学习率较小。常见任务包括中文实体识别、语言模型训练、UIE模型微调。优点是可以快速适应目标任务，但缺点是可能需要较长的训练时间和大量数据。2.LoRA微调：通过高阶矩阵秩的分解减少微调参数量，不改变预训练模型参数，新增参数。优点是减少了微调的参数量和成本，同时能达到与全模型微调相近的效果。3.P-tuningv2微调：引入了prefix-tuning的思想，每一层都加入了prefix，并采用了多任务学习。解决了P-tuningv1中序列标注任务效果不佳和普遍性差的问题。其参数对象是各层的prefix。优点是适用于多任务
1，项目地址https://github.com/li-plus/chatglm.cpp.git这个项目和llama.cpp项目类似，使用C++去运行模型的。项目使用了ggml这个核心模块，去运行的。可以支持在cpu上面跑模型。ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B引入了如下新特性：更强大的性能：基于ChatGLM初代模型的开发经验，我们全面升级了ChatGLM2-6B的基座模型。ChatGLM2-6B使用了GLM的混合目标函数，经过了1.4T中英标识符的预训练与人类偏
