深度学习的早期成功可归功于卷积神经网络（ConvNets）的发展。近十年来，ConvNets主导了计算机视觉基准测试。然而近年来，它们越来越多地被ViTs（VisionTransformers）所取代。很多人认为，ConvNets在小型或中等规模的数据集上表现良好，但在那种比较大的网络规模的数据集上却无法与ViTs相竞争。与此同时，CV社区已经从评估随机初始化网络在特定数据集(如ImageNet)上的性能转变为评估从网络收集的大型通用数据集上预训练的网络的性能。这就提出了一个重要的问题：在类似的计算预算下，VisionTransformers是否优于预先训练的ConvNets架构？本文，来自G
大语言模型又一项重大缺陷被DeepMind曝光！LLM无法纠正自己推理中的错误。「Self-Correction」作为一种让模型修正自己回答的技术，在很多类型的任务中都能明显改进模型的输出质量。但是最近，谷歌DeepMind和UIUC的研究人员却发现，对于推理任务，LLM的「自我纠正机制」一下子就没用了。图片而且LLM不但不能自我纠正推理任务的回答，经常自我纠正之后，回答质量还会明显下降。马库斯也转发了这篇论文，希望让更多研究人员关注大语言模型的这一缺陷。图片「自我纠正」这一技术是基于一个简单设想——让LLM对自己生成的内容根据一定标准来进行纠正和改进。这个方法在数学问题等任务上能明显提高模型
类基因组共有31.6亿个碱基对，无时无刻不在经历复制、转录和翻译，也随时有着出错突变的风险。错义突变是基因突变中的一种常见形式，然而人类目前只观察到了其中的一小部分，能够解读的更是只有0.1%。准确预测错义突变的作用，对于罕见病、遗传病的研究和防治有着重要作用。这次，DeepMind又出手了。作者|雪菜编辑|三羊、铁塔人类基因组共有31.6亿个碱基对。这些碱基对每天会经历复制、转录、翻译，最终表达成为蛋白质，调控人类日常生理活动。在如此庞大的工作量下，即使是精细的人体也很难做到毫无差错。稍有不慎，碱基对就可能配位错误，导致基因突变，日积月累甚至引发癌症。错义突变(MissenseMutatio
蛋白质预测模型AlphaFold在AI界掀起海啸级巨浪后，Alpha家族又迎来新贵。今天，GoogleDeepMind发布了全新AI模型——AlphaMissense，能够预测出7100万「错义突变」。具体讲，AlphaMissense成功预测出的89%「错义突变」中，57%是致病性，32%是良性的。论文地址：https://www.science.org/doi/10.1126/science.adg7492而仅有0.1%的变异，能被人类专家确认。为了研究人员更好了解其可能产生的影响，谷歌还将这份千万级「错义突变」所有目录公开。一直以来，发现根本病因是人类遗传学面临的最大挑战之一。而错义突变
Transformer架构已经在现代机器学习领域得到了广泛的应用。注意力是transformer的一大核心组件，其中包含了一个softmax，作用是产生token的一个概率分布。softmax有较高的成本，因为其会执行指数计算和对序列长度求和，这会使得并行化难以执行。GoogleDeepMind想到了一个新思路：用某种不一定会输出概率分布的新方法替代softmax运算。他们还观察到：在用于视觉Transformer时，使用ReLU除以序列长度的注意力可以接近或匹敌传统的softmax注意力。论文：https://arxiv.org/abs/2309.08586这一结果为并行化带来了新方案，因为
9月20日消息，谷歌旗下DeepMind日前推出了名为AlphaMissense的AI工具，其中评估了所有7100万个“错义”突变，IT之家经过查询得知，该工具已经上架GitHub，研究结果日前也已经发表在《科学》杂志上。据悉，人类专家迄今只发现了0.1%的错义变体的临床影响，这些变体改变了人体主要工作分子（蛋白质）的结构。在这些突变中，人类遗传密码中的一个字母发生了变化。其中32%被归类为可能致病，57%为良性，其余不确定。AlphaMissense预测显示了两种蛋白质结构的突变，其中红色为有害，蓝色为良性，灰色为不确定。DeepMind伦敦总部的项目研究员ŽigaAvsec声称：“此前发现
人工智能公司：DeepMind公司传文章目录人工智能公司：DeepMind公司传一、创立初期1.1创始人背景二、细分领域与研究突破2.1DQN（DeepQ-Network）2.2AlphaGo2.3StarCraftII三、与谷歌的合作及收购3.1数据中心节能3.2AI助手和自然语言处理四、致力于应用和道德4.1应用于医疗领域4.2AI道德和安全研究五、DeepMind有什么贡
DeepMind联合创始人，InflectionAI创始人Suleyman在自己的新书《TheComingWave》中称，未来AI将让人类远离心理问题！他进一步解释到：「我认为我们还没有真正认识到家庭的影响。因为无论你是富有还是贫穷，无论你来自哪个种族背景，无论你的性别是什么，一个善良和支持你的家庭都是一个巨大的动力。」「我认为，我们正处于人工智能发展的新阶段，我们有办法（对每个人）提供支持、鼓励、肯定、指导和建议。我们对情商进行了提炼。我认为，这将释放数百万人的创造力，人们以前无法获得这种机会。」而Suleyman之所以有这样的论断，也许和他自己的经历有关：1984年，他出生于伦敦北部，父亲
优化对于所有领域都至关重要。 有些优化是从初始化开始的，然后迭代的更新解以优化目标函数。这种优化算法通常需要针对单个任务进行定制，以应对决策空间带来的特定挑战，特别是对于无导数的优化。接下来我们要介绍的这项研究，研究者另辟蹊径，他们利用大型语言模型(LLM)充当优化器，在各种任务上的性能比人类设计的提示还好。这项研究来自GoogleDeepMind，他们提出了一种简单而有效的优化方法OPRO（OptimizationbyPROmpting），其中优化任务可以用自然语言来描述，例如LLM的提示语可以是「深呼吸，一步一步地解决这个问题」，也可以是「让我们结合我们的数字命令和清晰的思维来快速准确地破
提示词中加上“深呼吸”，AI大模型数学成绩就能再涨8.4分！谷歌DeepMind团队最新发现，用这个新“咒语”（Takeadeepbreath）结合大家已经熟悉的“一步一步地想”（Let’sthinkstepbystep），大模型在GSM8K数据集上的成绩就从71.8提高到80.2分。而且这个最有效的提示词，是AI自己找出来的。有网友开玩笑说，深呼吸以后，散热风扇就转速就提高了。也有人表示，刚高薪入职的提示工程师们也应该深呼吸，工作可能干不久了相关论文《大语言模型是优化器》，再次引起轰动。具体来说，大模型自己设计的提示词在Big-BenchHard数据集上最高提升50%。也有人的关注点在“不同
