自从ChatGPT发布后,各种基于大模型的产品也快速融入了普通人的生活中,但即便非AI从业者在使用过几次后也可以发现,大模型经常会胡编乱造,生成错误的事实。不过对于程序员来说,把GPT-4等大模型当作「代码辅助生成工具」来用的效果明显要比「事实检索工具」要好用很多,因为代码生成往往会涉及到复杂的逻辑分析等,所以也有人将这种推理(广义规划)能力归因于大型语言模型(LLM)的涌现。学术界也一直在就「LLM能否推理」这个问题争论不休。最近,计算机科学家、亚利桑那州立大学教授SubbaraoKambhampati(Rao)以「LLM真的能推理和规划吗?」(CanLLMsReallyReason&Pla
谷歌AI掌门人JeffDean也曾跟投谷歌搜索竞争对手、AI初创公司PerplexityAI开年就拿下了一笔大融资——总额7360万美元(约RMB5.28亿),IVP领投,英伟达、亚马逊创始人杰夫·贝索斯也跟投了。创下了近年来互联网搜索初创公司融资金额新纪录。加上早前两轮融资,PerplexityAI共融资破1亿美元,市场估值达5.2亿美元。PerplexityAI做的是全球首个AI加持的对话式应答引擎,公司成立一年半,月活用户已达1000万。就在几天前Writerbuddy机构发布的年度调查中,PerplexityAI以访问量排名第13,挤入2023年度全球最火爆AI工具Top50。关键是,
如何根据特定需求选择视觉模型?ConvNet/ViT、supervised/CLIP模型,在ImageNet之外的指标上如何相互比较?来自MABZUAI和Meta的研究人员发表的最新研究,在「非标准」指标上全面比较了常见的视觉模型。论文地址:https://arxiv.org/pdf/2311.09215.pdf就连LeCun称赞道,非常酷的研究,比较了相似大小的ConvNext和VIT架构,无论是在监督模式下训练,还是使用CLIP方法进行训练,并在各种属性上进行了比较。超越ImageNet准确性计算机视觉模型格局,变得越来越多样复杂。从早期的ConvNets到VisionTransforme
SamAltman在各种场合都提到,大语言模型的多模态能力,是未来AI技术能够造福人类的最亟待突破的领域。那么现在在多模态大模型的视觉功能能否达到与语言功能匹配的水平?当前多模态模型取得的进步很大程度上归功于大语言模型(LLM)的推理能力。但在视觉方面,模型往往只基于实例级别的对比语言-图像预训练(CLIP)。最近,来自纽约大学和UC伯克利的团队研究表明,多模态大语言模型(MLLM)在视觉处理方面仍存在普遍性的缺陷。其中,团队成员堪称「豪华」,除了领队谢赛宁外,共同参与还有马毅和LeCun两位大佬。论文地址:https://arxiv.org/abs/2401.06209开源项目:https:
去年底AI行业最爆炸性的事件要算是纽约时报和OpenAI的官司了。在《纽约时报》一纸诉状将OpenAI告到法院,要求OpenAI要么关闭ChatGPT,要么赔偿几十亿美元。这个新闻在国内外媒体上发酵了2周之后,OpenAI官方终于下场回怼了。OpenAI指责《纽约时报》,为了打赢官司,选择性陈述,甚至有针对ChatGPT的「钓鱼取证」,采用诱导性的提示词来故意引诱ChatGPT生成和原文高度一致的内容。并且《纽约时报》反复拒绝了OpenAI希望他们完整地提供「实例」的请求。总结起来,OpenAI回应了诉讼中的4个点:OpenAI正在与新闻机构合作并创造新机会(反驳《纽约时报》诉状中指责Open
这一次,YannLeCun首次跻身「百变大咖」。身穿钢铁侠的衣服、戴着酷酷的墨镜面无表情地注视着你,一身古装在故宫门前打卡留念……就连本人也出来转发并喊话,「左下角这幅文艺复兴时期的画,是我的最爱。」性感女神寡姐身穿紫色巫师服注视着远方,还可以戴着圣诞帽和你对视:身穿太空服的奥特曼看起来萌萌的,把头发染成红色也毫无违和感上述研究便是来自南开大学、腾讯等机构提出PhotoMaker,这是一种高效的个性化文本到图像生成方法。相关论文《PhotoMaker:CustomizingRealisticHumanPhotosviaStackedIDEmbedding》于去年12月放出,刚刚,项目也已经开源
一本自监督学习全套攻略来了!今天,YannLeCun、田渊栋等机构的研究者共同发表了一篇70页论文「自监督学习的食谱」。LeCun称,你曾经想知道,却又不敢问的自监督学习内容全在这儿了。先来看看这篇论文阵容有多强大,除了MetaAI的研究员,还汇集了纽约大学、马里兰大学、加利福尼亚大学戴维斯分校、蒙特利尔大学等6所大学研究人员的智慧。可想而知,这篇论文含金量有多足了。论文地址:https://arxiv.org/pdf/2304.12210.pdf自监督学习(SSL),被称为人工智能的暗物质,是推进机器学习发展的一条有希望的道路。然而,就像烹饪一样,SSL是一门精致的艺术,有很高的门槛。尽管人
最近,这张图开始在AI社区热转,连LeCun也转发了。这张图直观地展现了AI开源社区和私有模型的竞争格局。在5-ShotMMLU基准测试中,代表开源模型和闭源模型的性能的两条线,即将在2年内相交。虽然OpenAI和谷歌等公司在极力垄断最新模型的信息,但Meta为代表的开源社区正在大力推动更易于访问的生成式AI,这可能会挑战传统的闭源AI开发模式。图表由CathieDWood的ARKInvest创建许多人说,这也许是2024年最重要的AI图表之一。可以看到,最近兴起的开源本地模型,已经在超越大规模且昂贵的基于云的闭源模型!协作和开源创新的力量,太令人瞩目了。24年将成为开源之年?网友激动写道——
通用AGI,或许近在咫尺。OpenAI下一步「登月计划」,就是实现人类期待已久的超级人工智能,而到达这一步的前提是——解决超级AI对齐问题。就在前几天,首席科学家Ilya带头OpenAI超级对齐团队取了的实质性成果。他们发表的最新论文,首次确定了超级AI对齐的研究方向:即小模型监督大模型。实证表明,GPT-2可以用来激发GPT-4的大部分能力,能够达到GPT-3.5的性能。甚至还可以泛化到小模型失败难题上。其中,官方博客的第一句便是:我们相信超级智能可能会在未来10年内出现。再加上传闻中即将面世的GPT-4.5,以及或许会在明年诞生的GPT-5,OpenAI似乎已经准备好迎接超级人工智能到来了
2023年即将过去。一年以来,各式各样的大模型争相发布。当OpenAI和谷歌等科技巨头正在角逐时,另一方「势力」悄然崛起 ——开源。开源模型受到的质疑一向不少。它们是否能像专有模型一样优秀?是否能够媲美专有模型的性能?迄今为止,我们一直还只能说是某些方面接近。即便如此,开源模型总会给我们带来经验的表现,让我们刮目相看。开源模型的兴起正在改变游戏规则。如Meta的LLaMA系列以其快速迭代、可定制性和隐私性正受到追捧。这些模型被社区迅速发展,给专有模型带来了强有力的挑战,能够改变大型科技公司的竞争格局。不过此前人们的想法大多只是来自于「感觉」。今天早上,Meta首席AI科学家、图灵奖获得者Yan