计算机视觉的GPT时刻，来了！最近，来自UC伯克利的计算机视觉「三巨头」联手推出了第一个无自然语言的纯视觉大模型（LargeVisionModels），并且第一次证明了纯视觉模型本身也是可扩展的（scalability）。除此之外，研究人员还利用超过420Btoken的数据集让模型可以通过上下文学习来理解并执行下游任务，并且统一了图片/视频、有监督/无监督、合成/真实、2D/3D/4D等几乎所有的数据形式。论文地址：https://arxiv.org/abs/2312.00785值得一提的是，让LVM做非语言类智商测试（Raven'sProgressiveMatrices）中常见的非语言推理问

已经红遍半边天的扩散模型，将被淘汰了？当前，生成式AI模型，比如GAN、扩散模型或一致性模型，通过将输入映射到对应目标数据分布的输出，来生成图像。通常情况下，这种模型需要学习很多真实的图片，然后才能尽量保证生成图片的真实特征。最近，来自UC伯克利和谷歌的研究人员提出了一种全新生成模型——幂等生成网络（IGN）。图片论文地址：https://arxiv.org/abs/2311.01462IGNs可以从各种各样的输入，比如随机噪声、简单的图形等，通过单步生成逼真的图像，并且不需要多步迭代。这一模型旨在成为一个「全局映射器」（globalprojector），可以把任何输入数据映射到目标数据分布。

最近，我一直在研究各种类型的数据库。我需要存储和查询“关系、层次、图形、文档”混合数据。我正在寻找最佳的数据库解决方案。我找不到太多关于BerkeleyDB的数据。他们网站上的大部分内容都是由营销部门编写的。其中一个PDF听起来像是在处理关系数据，而不仅仅是键值对。我在博客上看到它做索引。我在哪里可以获得关于这个数据库的一些真实信息以及它与MongoDB的比较？数据类型、索引功能、分析、使用和“适合……”。考虑到这个数据库已有15年历史，我对Google中几乎没有有用的数据感到有点惊讶。 最佳答案 这是维基百科对此的描述:http:

近年来，大语言模型（LLM）及其底层的transformer架构已经成为了对话式AI的基石，并催生了广泛的消费级和企业应用程序。尽管有了长足的进步，但LLM使用的固定长度的上下文窗口极大地限制了对长对话或长文档推理的适用性。即使是使用最广泛的开源LLM，它们的最大输入长度只允许支持几十条消息回复或短文档推理。与此同时，受限于transformer架构的自注意力机构，简单地扩展transformer的上下文长度也会导致计算时间和内存成本成倍增加，这就使得全新的长上下文架构成为紧迫的研究课题。不过，即使我们能够克服上下文缩放的计算挑战，但最近的研究却表明，长上下文模型很难有效地利用额外的上下文。这

虽然大型语言模型（LLM）的性能表现足够惊艳，但每次接收用户请求时都需要耗费大量显存和计算资源，一旦请求数量超出预期，就极有可能面临ChatGPT刚发布时的宕机、排队、高延迟等窘境。想要打造一个高吞吐量的LLM服务，就需要模型在一个批次内处理尽可能多的请求，不过现有的系统大多在每次处理请求时申请大量的key-value（KV）缓存，如果管理效率不高，大量内存都会在碎片和冗余复制中被浪费掉，限制了batchsize的增长。最近，来自加州大学伯克利分校、斯坦福大学、加州大学圣迭戈分校的研究人员基于操作系统中经典的虚拟内存和分页技术，提出了一个新的注意力算法PagedAttention，并打造了一个

UIUC（UniversityofIllinoisatUrbana-Champaign）是美国伊利诺伊大学香槟分校的简称。该学校成立于1868年，位于美国伊利诺伊州香槟市，是一所公立研究型大学。UIUC是美国著名的常春藤盟校之一，在多个学科领域享有声誉，包括工程、商科、建筑、心理学、法学、医学、农学等。UIUC现任校长为阿南德·格罗夫（AnantAgarwal）教授。复旦大学（FudanUniversity），简称“复旦”，位于直辖市上海，是中华人民共和国教育部直属的全国重点大学，中央直管高校，综合性研究型大学，由教育部与上海市重点共建，位列国家“双一流”、“985工程”、“211工程”建设高

 穷尽「全网」，生成式AI很快无数据可用。近日，著名UC伯克利计算机科学家StuartRussell称，ChatGPT和其他AI工具的训练可能很快耗尽「全宇宙的文本」。换句话说，训练像ChatGPT这样的AI，将因数据量不够而受阻。这可能会影响生成式AI开发人员，在未来几年收集数据，以及训练人工智能的方式。同时，Russell认为人工智能将在「语言输入，语言输出」的工作中取代人类。数据不够，拿什么凑？Russell近来的预测引起了大家重点关注。OpenAI和其他生成式AI开发人员，为训练大型语言模型，开始进行数据收集。然而，ChatGPT和其他聊天机器人不可或缺的数据收集实践，正面临着越来越多

整理|王启隆透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。今天是2023年4月11日，在1953年的今天，安德鲁·怀尔斯诞生。大约在1637年左右，法国学者费马提出了一个数学代数相关的定理，由于费马没有写下证明，而他的其它猜想对数学贡献良多，由此激发了许多数学家对这一猜想的兴趣，但三百多年来无人能够证明。直到上世纪九十年代，英国数学家怀尔斯才正式向全世界宣称证明了费马大定理；怀尔斯研究生时的学术方向正好是椭圆曲线，他证明费马定理的过程写满了一百多页纸，完成了数学史上这浓墨重彩的一笔。回顾计算机历史上的4月11日，这一天都发生过哪些关键事件呢？1948年4月11日：伯克利多媒体研究中

现在，基于强化学习的智能体已经可以轻松地执行诸如「捡起蓝色积木」这类的指令。但人类大部分时间的语言表达，却远远超出了指令的范围。比如：「我们好像没有牛奶了」......而智能体想要学习这类语言在世界中的含义，是非常困难的。对此，来自UC伯克利的研究团队认为，我们实际上可以利用这些语言，来帮助智能体更好地对未来进行预测。论文地址：https://arxiv.org/pdf/2308.01399.pdf具体来说，研究人员提出了一种全新的智能体——Dynalang。与仅用语言预测动作的传统智能体不同，Dynalang通过使用过去的语言来预测未来的语言、视频和奖励，从而获得丰富的语言理解。除了在环境中

GPT-4最强平替更新了！这次，基于全新的Llama2，UC伯克利发布了更新版Vicunav1.5。不仅支持4K和16K上下文，并且在几乎所有基准测试中取得了SOTA。自3月发布以来，Vicuna已成为最受欢迎的聊天LLM之一。它在多模态、AI安全和评估方面的研究具有开创性。上个月，Vicuna模型在HuggingFace上的下载量超过了200万次。LeCun也转发了基于自家模型搭建的新版Vicuna。最新模型权重Vicuna基于LLaMA，应在LLaMA的模型许可下使用。你可以使用下面的命令开始聊天。它会自动从HuggingFace存储库下载权重。在下面的「使用命令行界面进行推理」部分中查看