草庐IT

图灵奖得主吵起来了,LeCun:Bengio、Hinton等的AI灭绝论是荒谬的

关于AI风险的问题,各路大佬们也是意见不统一。有人带头签署联名信,呼吁AI实验室应立即暂停研究,深度学习三巨头GeoffreyHinton、YoshuaBengio等都支持这一观点。就在近几日,Bengio、Hinton等再发联名信《在快速发展的时代管理人工智能风险》,呼吁在开发AI系统之前,研究者应该采取紧急治理措施,将安全和道德实践纳入重点,呼吁各国政府应该采取行动,管理AI带来的风险。文中提到了一些紧急治理措施,例如,让国家机构也参与进来,从而防止人们对AI的滥用。为了实现有效的监管,政府需要全面了解人工智能的发展。监管机构应采取一系列措施,如模型注册、对举报人进行有效保护以及对模型开发

LeCun又双叒唱衰自回归LLM:GPT-4的推理能力非常有限,有两篇论文为证

「任何认为自动回归式LLM已经接近人类水平的AI,或者仅仅需要扩大规模就能达到人类水平的人,都必须读一读这个。AR-LLM的推理和规划能力非常有限,要解决这个问题,并不是把它们变大、用更多数据进行训练就能解决的。」一直以来,图灵奖得主YannLeCun就是LLM的「质疑者」,而自回归模型是GPT系列LLM模型所依赖的学习范式。他不止一次公开表达过对自回归和LLM的批评,并产出了不少金句,比如:「从现在起5年内,没有哪个头脑正常的人会使用自回归模型。」「自回归生成模型弱爆了!(Auto-RegressiveGenerativeModelssuck!)」「LLM对世界的理解非常肤浅。」让LeCun

LeCun和xAI联创对呛,GPT-4重大推理缺陷无解?网友:人类也是「随机鹦鹉」

最近,包括LeCun在内的一众大佬又开始针对LLM开炮了。最新的突破口是,LLM完全没有推理能力!在LeCun看来,推理能力的缺陷几乎是LLM的「死穴」,无论未来采用多强大的算力,多广阔和优质的数据集训练LLM,都无法解决这个问题。而LeCun抛出的观点,引发了众多网友和AI大佬针对这个问题的讨论,其中包括xAI的联合创始人之一ChristianSzegedy。AI科学家ChristianSzegedy回复LeCun:卷积网络的推理能力更加有限,但这并没有影响AlphaZero的能力。从两位大佬的进一步讨论中,我们甚至能窥探到xAI未来的技术方向——如何利用大模型的能力突破AI的推理能力上限。

研究称AI绘画碳排放仅为人类画家1/2900,LeCun转发

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。AI生成比人类动手写画所排放的二氧化碳可少三个数量级!结论来自LeCun最新分享“非常因吹斯汀”的一篇论文:看这转发评论量就知道,网友又坐不住了。有网友看到这个结果还有点小惊讶:生成式AI更具创造力且对环境更友好,这谁能猜到?还有一小撮网友没看过论文问道:有没有把训练模型过程中的二氧化碳排放量算进去。此外,也有很多网友对论文中使用的计算方法提出了质疑。那这篇论文里究竟是如何计算的?训练模型有没有算上?我们一起来看看。AIvs人类这项研究由来自加州大学欧文分校、麻省理工学院斯隆管理学院等研究人员共同完成。在这场人机二氧化

LeCun再泼冷水:只会看书的语言模型永远无法实现「类人智能」

自去年ChatGPT发布后,业内外都涌现出了一股对大型语言模型的狂热情绪,甚至有谷歌员工宣称公司内部的语言模型有了意识。最近,纽约大学教授、Meta首席AI科学家、图灵奖得主YannLeCun及纽约大学计算机科学系的博士后JacobBrowning发表了一篇长文,他们认为是语言本身的局限性让LLM的智能无法提升。虽然语言模型变得越来越通用且强大,但我们却越来越不懂模型的思考过程。模型可以在各个常识推理基准测试中取得非常高的准确率,但为什么还是会说废话、给出危险的建议呢?也就是说,为什么语言模型如此聪明,能力却又如此有限?研究人员认为,问题根本不是出在AI算法,而在于语言的局限性,一旦我们放弃「

ChatGPT与搜索引擎合体,谷歌都不香了,LeCun转发|在线可玩

AlexPine发自凹非寺量子位|公众号QbitAI见惯了列表式搜索引擎,你有没有想过给它换种画风?有人脑洞大开,把艳惊四座的ChatGPT和必应搜索结合起来,搞出了一个智能搜索引擎:既有ChatGPT式的问答,又像普通搜索引擎那样列出链接,方便你分分钟溯源确认。(好家伙,这是ChatGPT风靡后,大家的灵感小宇宙都爆发了吗?)此搜索引擎名为Perplexity。有意思的是,在某些问题上,其回答准确性甚至超越了搜索引擎界大哥Google。就拿马斯克之前发的一条推文来说,它不仅总结出了推文的由来,还将推文的内容解释了一通,每条都有理有据。反观谷歌搜索,就只是列出了相关链接。Perplexity一

LeCun转发:中国霸榜AI顶会,美国第二!中美两国主导全球数学计算机领域

最近,一位名叫「ScienceisStrategic」的网友,整理了近年来几大外媒和调查机构整理的图表。结果显示,在科技发展上,美国和中国已经遥遥领先,美国居全世界第一位。而图灵奖得主YannLeCun也转发了基于此的相关讨论。Nature:2021年美国科研第一,中国第二PitchBook调查了市值超过10亿美元的风投支持的公司的市值,结果显示,美国居于世界第一,中国第二,而同样作为技术大国,欧洲明显落后于中国和美国。OECD调查显示,中国近几十年的研发支出开始大幅猛增,并在2015年以后超越了欧洲,不过目前仍然低于美国。牛津大学学者调查了2013-2016年数学和计算机领域被引用次数最多的

GPT-4最强平替更新!UC伯克利发布Vicuna v1.5,支持4K和16K上下文,刷新SOTA,LeCun转赞

GPT-4最强平替更新了!这次,基于全新的Llama2,UC伯克利发布了更新版Vicunav1.5。不仅支持4K和16K上下文,并且在几乎所有基准测试中取得了SOTA。自3月发布以来,Vicuna已成为最受欢迎的聊天LLM之一。它在多模态、AI安全和评估方面的研究具有开创性。上个月,Vicuna模型在HuggingFace上的下载量超过了200万次。LeCun也转发了基于自家模型搭建的新版Vicuna。最新模型权重Vicuna基于LLaMA,应在LLaMA的模型许可下使用。你可以使用下面的命令开始聊天。它会自动从HuggingFace存储库下载权重。在下面的「使用命令行界面进行推理」部分中查看

突破自监督学习效率极限!马毅、LeCun联合发布EMP-SSL:无需花哨trick,30个epoch即可实现SOTA

过去几年,无监督和自监督学习(SSL)取得了巨大进步,通过SSL学习得到的表征在分类性能上甚至赶上了有监督学习,在某些情况下甚至还能超过有监督学习,这一趋势也为视觉任务的大规模数据驱动无监督学习提供了可能。虽然自监督学习的实验性能惊人,但大多数自监督学习方法都是相当「低效」的,通常需要数百个训练epoch才能完全收敛。  最近,马毅教授、图灵奖得主YannLeCun团队发布了一种新的自监督学习方法Extreme-Multi-PatchSelf-Supervised-Learning(EMP-SSL),证明了高效自监督学习的关键是增加每个图像实例中的图像块数量。论文链接:https://arxi