现在是GPT-4，时间是2023年。7年之后，2030年，那时的GPT会是什么样子？UC伯克利的一位机器学习教授JacobSteinhard发表长文，对2030年的GPT（以下简称为GPT2030)作了预测。为了更好地进行预测，Jacob查询了各种来源的信息，包括经验缩放定律、对未来计算和数据可用性的预测、特定基准的改进速度、当前系统的经验推理速度，以及未来可能的并行性改进。概括来看，Jacob认为，GPT2030会在以下几个方面超过人类工作者。1.编程、黑客任务、数学、蛋白质设计。2.工作和思考的速度：预计GPT2030每分钟处理的单词是人类的5倍，而每FLOP都多5倍的话，总共就是125倍
当前，人与智能体（比如机器人）的交互是非常直接的，你告诉它「拿一块蓝色的积木」，它就会帮你拿过来。但现实世界的很多信息并非那么直接，比如「扳手可以用来拧紧螺母」、「我们的牛奶喝完了」。这些信息不能直接拿来当成指令，但却蕴含着丰富的世界信息。智能体很难了解这些语言在世界上的含义。图源：谷歌机器人团队论文「InteractiveLanguage:TalkingtoRobotsinRealTime」。UC伯克利Dynalang研究的关键思想是，我们可以将语言看作是帮助我们更好地对世界进行预测的工具，比如「我们的牛奶喝完了」→打开冰箱时没有牛奶；「扳手可以用来拧紧螺母」→使用工具时螺母会旋转。Dyna
昨天，Meta发布了免费可商用版本Llama2，再一次给开源社区做出了惊人贡献。Meta联手微软高调开源的Llama2，一共有70亿、130亿和700亿三个参数的版本。Llama2在2万亿个token上训练的，上下文长度达到了4k，是Llama1的2倍。而微调模型已在超100万个人类标注中进行了训练。比起很多其他开源语言模型，Llama2都实现了秒杀，在推理、编码、能力和知识测试上取得了SOTA。Meta首席科学家LeCun也在今天狂转了一大波Llama2的实现。图片图片图片图片图片那么，Llama2的表现究竟如何呢？UC伯克利最新测评就在刚刚，权威的UC伯克利聊天机器人竞技场，已经火速出了L
穷尽「全网」，生成式AI很快无数据可用。近日，著名UC伯克利计算机科学家StuartRussell称，ChatGPT和其他AI工具的训练可能很快耗尽「全宇宙的文本」。换句话说，训练像ChatGPT这样的AI，将因数据量不够而受阻。图片这可能会影响生成式AI开发人员，在未来几年收集数据，以及训练人工智能的方式。同时，Russell认为人工智能将在「语言输入，语言输出」的工作中取代人类。数据不够，拿什么凑？Russell近来的预测引起了大家重点关注。OpenAI和其他生成式AI开发人员，为训练大型语言模型，开始进行数据收集。然而，ChatGPT和其他聊天机器人不可或缺的数据收集实践，正面临着越来越
早先发布Vicuna模型和大语言模型排位赛的LMSYSOrg（UC伯克利主导）的研究人员又开始搞事情了。这次，他们开发出了一个支持长上下文的开源大模型家族LongChat-7B和LongChat-13B，支持高达16K token的上下文长度。但是吧，其实市面上早已出现支持65K（MPT-7B-storyteller）和32K（CHatGLM2-6B）token的选手了。图片抱着一边向他们虚心学习一边质疑的研究者心态，他们设计一个专门评估大语言模型处理长上下文任务的性能的工具，测了测一众号称支持长上下文的模型们性能到底怎么样。不测不知道，一测发现之前宣称能支持长上下的开源模型几乎水平都不怎么样
过去2个月，来自UC伯克利的研究人员给大语言模型们安排了一个擂台——ChatbotArena。GPT-4等大语言模型玩家打起了「排位赛」，通过随机battle，根据Elo得分来排名。这一过程中，每当一个用户访问并使用网站，就需要同时让两个不同的模型跑起来。他们是如何做到的？这不，就在今天，UC伯克利重磅开源了世界最快LLM推理和服务系统vLLM。简之，vLLM是一个开源的LLM推理和服务引擎。它利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。配备全新算法的vLLM，重新定义了LLM服务的最新技术水平：与HuggingFaceTransformers相比，它提供高
随着大语言模型（LLM）的不断发展，这些模型在很大程度上改变了人类使用AI的方式。然而，实际上为这些模型提供服务仍然存在挑战，即使在昂贵的硬件上也可能慢得惊人。现在这种限制正在被打破。最近，来自加州大学伯克利分校的研究者开源了一个项目vLLM，该项目主要用于快速LLM推理和服务。vLLM的核心是PagedAttention，这是一种新颖的注意力算法，它将在操作系统的虚拟内存中分页的经典思想引入到LLM服务中。配备了PagedAttention的vLLM将LLM服务状态重新定义：它比HuggingFaceTransformers提供高达24倍的吞吐量，而无需任何模型架构更改。项目地址：https
👀日报合辑|📆电子月刊|🔔公众号下载资料|🍩@韩信子📢AI绘画发展史(伪)：不能提升生产力的创新，都是伪创新微博博主@西仔LittileC绘制了一份AI绘画发展史，展示了从业者的担忧——并非抗拒技术进步带来的竞争和压力，而是担心已有行业的种种乱象在绘画行业重演，最终导致所有用户被动『吃屎』。大平台免费致使从业人数减少、平台收取低价使用费用、用户必须购买会员/按月订阅/按年订阅才能使用、内容趋同千人一面···这个发展历程，我们太熟悉了···工具&框架🚧『Monocraft』Minecraft前端字体https://github.com/IdreesInc/Monocrafthttps://idr
👀日报合辑|📆电子月刊|🔔公众号下载资料|🍩@韩信子📢『ABeginner’sGuidetoPromptDesignforText-to-ImageGenerativeModels』从文本到图像，生成模型的提示设计·入门指南https://towardsdatascience.com/a-beginners-guide-to-prompt-design-for-text-to-image-generative-models-8242e1361580随着StableDiffusion、Midjourney和DALL·E2的发布，使用文字提示生成图像成为新的潮流。如何使用尽可能少的提示文字来获得喜
大型语言模型性能强大，但为了更好地用于解决实际问题，各式各样的API是必不可少的。近日，加利福尼亚大学伯克利分校和微软研究院造出了一只「大猩猩」Gorilla，该模型能根据用户输入的自然语言为用户选择合适的API来执行对应任务。理论上讲，这个模型可以根据用户需求调用其它各种AI模型，因此Gorilla有望成为一个统御其它AI的AI模型。该项目的代码、模型、数据和演示都已发布。网站：gorilla.cs.berkeley.edu论文：arxiv.org/abs/2305.15334GitHub：https://github.com/ShishirPatil/gorilla/GorillaSpot
