最近，AI圈依然是大事频发，几天一个爆炸性新闻。Meta联手微软高调开源了Llama2，它在2万亿个token上训练，秒杀许多开源语言模型，并且还能免费商用。OpenAI科学家Karpathy最近搞的明星项目「BabyLlama」，已经可以用C语言跑Llama27B了。而就在几天前，StabilityAI正式发布了下一代文生图模型——StableDiffusionXL1.0。这次的1.0版本是StabilityAI的旗舰版生图模型，也是最先进的开源生图模型。图片在目前的开放式图像模型中，SDXL1.0是参数数量最多的。官方表示，这次采用的是全新的架构，基础模型的参数规模达到35亿，同时还有一个

大型语言模型（LLM）已经得到了学术界和产业界的广泛关注，而为了开发出好用的LLM，适当的评估方法必不可少。现在，一篇有关LLM评估的综述论文终于来了！其中分三方面对LLM评估的相关研究工作进行了全面的总结，可帮助相关研究者索引和参考。不仅如此，该论文作者还创建了一个开源资料库，让用户可以方便地添加和共享相关的新研究：https://github.com/MLGroupJLU/LLM-eval-survey对科学家来说，理解智能的本质以及确定机器是否能具有智能是极具吸引力的课题。人们普遍认为，人类之所以有能力执行推理、检验假设以及为未来做准备，就是因为我们具有真正的智能。人工智能研究者关注的是

从毫无存在感到无人不谈，大型语言模型（LLM）的江湖地位在这几年发生了巨变。这个领域的发展令人目不暇接，但也正因如此，人们难以了解还有什么难题有待解决以及哪些领域已有成熟应用。为了帮助机器学习研究者更快理解LLM领域的当前现状并提升他们的生产力，来自伦敦大学学院等多家机构的研究团队不畏繁琐，系统性地总结了LLM领域的艰难挑战和成功应用。LLM研究大热的现状也在这篇综述论文的参考文献中得到了体现——总共22页参考文献，引用了688篇论文！机器之心对这篇综述论文的大致框架进行了整理，以便读者能快速了解LLM的挑战和应用，更详细的论述和具体文献请参阅原论文。论文：https://arxiv.org/

Reddit上的网友，又搞新活了。他用了自己100个小时的网络足迹数据，训练了一个大语言模型。也就是说，他可以和自己的数字分身对话了。图片用100小时的数据训练了17B的模型，现在他可以和自己的「幽灵」进行对话了训练这么个大模型，其实并不容易，根据该网友的说法，他前后改进了很多次，并且在花费了许多个深夜来自言自语，才终于训练好了大模型。如果让他总结经验的话，就是项目是否成功基本取决于访谈语料库的质量。方法无关紧要，语料库至关重要最开始，他用的是Meta的Llama-2（llama-2-70b-hf），但由于生成的结果很奇怪（不知道是自己的微调不正确，还是模型并没有做自己该做的事），最终他选择的

前三章我们分别介绍了思维链的使用，原理和在小模型上的使用。这一章我们正式进入应用层面，聊聊如何把思维链和工具使用结合得到人工智能代理。要回答我们为什么需要AI代理？代理可以解决哪些问题？可以有以下两个视角首先是我们赋能模型，如果说LLM是大脑，那Agent提供了手脚和感官感官：获取真实世界的信息，包括实时信息像天气情况，金融市场，交通状况；包括私有信息例如用户个人数据；包括多模态信息像声音和图像手脚：获得和真实世界交互的能力，例如运行python脚本，调用搜索引擎，预定机票酒店。其次是模型赋能我们，Agent加持的大模型，作为更优的数据和任务中介/代理，赋予了我们和任意数据类型交互的能力，大模

WebShop:TowardsScalableReal-WorldWebInteractionwithGroundedLanguageAgents面向可扩展的基于语言引导的真实世界网络交互链接：https://arxiv.org/abs/2207.01206摘要：现有的用于在交互环境中引导语言的基准测试要么缺乏真实世界的语言元素，要么由于数据收集或反馈信号中涉及大量人类参与而难以扩展。为了弥合这一差距，我们开发了WebShop——一个模拟的电子商务网站环境，拥有118万个真实世界的产品和12,087个众包文本指令。给定一个指定产品要求的文本指令，代理需要导航多种类型的网页并发出各种操作来查找、

近期，指令微调（IFT）已经被作为预训练大语言模型（LLMs）获得指令遵循能力的关键训练阶段。然而，广泛使用的IFT数据集（例如，Alpaca的52k数据）却包含许多质量低下的实例，这些实例带有错误或无关的回应，对IFT产生了误导和不利影响。先前的处理方法主要依靠人工筛选这些低质量数据，但这既费时费力，又难以扩展。因此，如何以高效、自动化的方式过滤出这些低质量数据，成为提升LLM微调效果的关键所在。现在，来自马里兰大学，三星和南加大的研究人员提出了一种有效的数据过滤策略，使用强大的LLM（例如，ChatGPT）自动识别和移除低质量数据，以改善指令微调（IFT）的效果。图片论文地址：https:

大型语言模型(llm)正变得越来越流行，但是它需要很多的资源，尤其时GPU。在这篇文章中，我们将介绍如何使用Python中的llama.cpp库在高性能的cpu上运行llm。大型语言模型(llm)正变得越来越流行，但是它们的运行在计算上是非常消耗资源的。有很多研究人员正在为改进这个缺点而努力，比如HuggingFace开发出支持4位和8位的模型加载。但它们也需要GPU才能工作。虽然可以在直接在cpu上运行这些llm，但CPU的性能还无法满足现有的需求。而GeorgiGerganov最近的工作使llm在高性能cpu上运行成为可能。这要归功于他的llama.cpp库，该库为各种llm提供了高速推理

机器学习领域的童鞋求职有多卷？英伟达大模型研究科学家毕业生要求，最低8篇顶会论文。一位华人研究员近来想申请英伟达工作，没想到岗位要求直接让她傻了眼。她表示，「这难道是对机器学习专业应届毕业生的『低』要求吗？」没想到，这个帖子瞬间引爆舆论。就连前谷歌大脑、StabilityAI的前高管DavidHa为之震惊。2023年大学毕业新生要求：「在知名会议（如CVPR、IEEE、NeurIPS等）上发表至少8篇论文」。可能事情发酵的太大了，英伟达也意识到了不对劲，立马删除了原职位的申请入口。有趣的是，没过多久，英伟达再次重发了关于这一职位申请的要求。现在的长这样：最近获得计算机科学/工程、电气工程等领域

GitHub：GitHub-ymcui/Chinese-LLaMA-Alpaca:中文LLaMA&Alpaca大语言模型+本地CPU/GPU训练部署(ChineseLLaMA&AlpacaLLMs)中文LLaMA模型中文LLaMA模型在原版的基础上扩充了中文词表，使用了中文通用纯文本数据进行二次预训练。模型名称训练数据重构模型[1]大小[2]LoRA下载[3]Chinese-LLaMA-7B通用20G原版LLaMA-7B770M[百度网盘][GoogleDrive]Chinese-LLaMA-Plus-7B ⭐️通用120G原版LLaMA-7B790M