杨净发自凹非寺量子位|公众号QbitAI文心一言上线内测一个月后，首份迭代数据曝光：一个月共迭代4次；模型推理效率提升10倍，最近一次带来的推理提升达到123%；推理性能提升50%，模型算力利用率提升1倍。简单归纳就是说，迭代很快、不仅成本降下来了，顺便还把性能提升了？！要知道过去一个月内，全球网友们的热情被这场技术风暴所点燃，人们玩得不亦乐乎，ChatGPT也overload了好几次。作为国内率先发布的文心一言，是如何保持住高效迭代的？在这份成绩单中，找到了答案。文心一言首月数据曝光曝光的数据不多，但全都是关键技术指标——大模型训练与推理方面的数据，直接影响后续产品体验效果的好坏。首先，迭代
我们都知道，大语言模型在生成代码方面，表现出了非凡的能力。然而，在具有挑战性的编程任务（比如竞赛和软件工程师的面试）中，它们却完成得并不好。好在，很多模型会通过一种自修复工作流来「自省」，来自我纠正代码中的错误。研究者很希望知道，这些模型在多大程度上能提供正确的反馈，并且说明自己生成的代码为什么是错误的。近日，MIT和微软的学者发现，在对GPT-4和GPT-3.5，只有GPT-4表现出了有效的自修复。并且，GPT-4甚至还能对GPT-3.5生成的程序提供反馈。论文地址：https://arxiv.org/abs/2306.09896爱丁堡大学博士生符尧表示，自己的团队也发现了类似结果——只有G
MMagic(Multimodal Advanced, Generative,and Intelligent Creation)是一个供专业人工智能研究人员和机器学习工程师去处理、编辑和生成图像与视频的开源AIGC工具箱。MMagic支持各种基础生成模型，包括：无条件生成对抗网络(GANs)，条件生成对抗网络(GANs)内部学习扩散模型…自从MMEditing诞生以来，它一直是许多图像超分、编辑和生成任务的首选算法库。经过OpenMMLab2.0的迭代更新以及与MMGeneration的代码合并，MMEditing已经成为了一个支持基于GAN和传统CNN的底层视觉算法的强大工具。MMEditi
涌现（emergence）自2022年12月chatGPT3.5推出以来，关于AI、大语言模型（LLM）的讨论就一片火热，也带起了股票市场的一波炒作浪潮。本文专门针对“涌现”这一概念进行解释和拓展。什么是涌现涌现就是复杂性系统突破阈值之后的那个状态便称为涌现，是指一个系统当中个体之间预设的简单互动行为所造就的无法预知的复杂样态的现象。如果用一个公式来表达，就是整体大于部分之和。这意味着复杂系统“涌现”时，出现了一些无中生有的部分，这是用还原论无法理解的。还原论：一辆汽车，可以被拆解成无数的零件单元，然后还可以一一拼凑起来。整体论：蚁群不是个体蚂蚁的简单相加，而是另一个智能体。涌现现象最大的秘密
《ChatGPT神奇的“涌现”现象——人工智能通向未来之路》文章目录《ChatGPT神奇的“涌现”现象——人工智能通向未来之路》0.引言1.什么是ChatGPT?基于Transformer架构的深度学习技术预训练与微调策略多任务处理能力具有生成能力的模型代码示例和API接口生命周期和可持续性遵从道德准则的人工智能数据安全与隐私社区与开源多领域应用的潜力发展趋势和挑战结论2.“涌现”现象的概念与理论3.ChatGPT与涌现现象(Emergence)的关联
「别太迷信大模型的涌现，世界上哪儿有那么多奇迹？」斯坦福大学的研究者发现，大模型的涌现与任务的评价指标强相关，并非模型行为在特定任务和规模下的基本变化，换一些更连续、平滑的指标后，涌现现象就不那么明显了，更接近线性。近期，由于研究者们观察到大型语言模型（LLMs），如GPT、PaLM、LaMDA可以在不同的任务中表现出所谓的「涌现能力」，这一术语在机器学习领域得到了极大关注：事实上，复杂系统的新兴特性一直以来都是物理学、生物学、数学等学科在研究的重点。值得注意的一个观点是，诺贝尔物理学奖获得者P.W.Anderson提出了「MoreIsDifferent」。这一观点认为，随着系统复杂性的增加，
本文围绕近期的两项工作，讨论神经网络中符号概念的涌现现象，即『深度神经网络的表征是否是符号化的』的问题。如果我们绕开“应用技术提升”的视角，从“科学发展”的角度来重新审视AI，证明AI模型中的符号涌现现象无疑是具有重大意义的。1.首先，目前大部分的可解释性研究都在试图将神经网络解释为一个“清晰的”、“语义化的”、或“逻辑化的”模型。但是，如果无法证明神经网络的符号涌现，如果神经网络内在表征成分真的有大量的混乱成分，那么大部分的可解释性研究就失去了其基本事实依据。2.其次，如果无法证明神经网络的符号涌现，深度学习的发展将会大概率困在“结构”、“损失函数”、“数据”等外围因素的层面，而无法直接高层
本文围绕近期的两项工作，讨论神经网络中符号概念的涌现现象，即『深度神经网络的表征是否是符号化的』的问题。如果我们绕开“应用技术提升”的视角，从“科学发展”的角度来重新审视AI，证明AI模型中的符号涌现现象无疑是具有重大意义的。1.首先，目前大部分的可解释性研究都在试图将神经网络解释为一个“清晰的”、“语义化的”、或“逻辑化的”模型。但是，如果无法证明神经网络的符号涌现，如果神经网络内在表征成分真的有大量的混乱成分，那么大部分的可解释性研究就失去了其基本事实依据。2.其次，如果无法证明神经网络的符号涌现，深度学习的发展将会大概率困在“结构”、“损失函数”、“数据”等外围因素的层面，而无法直接高层
《系统架构》曾讲述了这样一个惊险案例：一架A320客机试图在有侧风的情况下着陆。一般来说，客机降落时减速手段有舵面，发动机反推，机轮刹车，减速伞（排名不分先后）。飞机着陆后，机长尝试使用发动机反推器减速，不料却不起作用，这是为什么呢？（图1发动机反推的原理图来源：知乎卢西的答案） 这是因为：控制反推器的软件系统，基于安全原因，只有当它认为飞机确实已经“着陆”的情况下，才会打开反推器，而它判断飞机有没有着陆的依据，则是两侧的起落架是否全都压紧了。但当时由于A320客机着陆时一侧机翼比较低，因此另一侧的起落架没有压下，这就导致软件系统判定飞机尚未着陆，因而选择不打开反推器。 （图2反推开启后的实况
《系统架构》曾讲述了这样一个惊险案例：一架A320客机试图在有侧风的情况下着陆。一般来说，客机降落时减速手段有舵面，发动机反推，机轮刹车，减速伞（排名不分先后）。飞机着陆后，机长尝试使用发动机反推器减速，不料却不起作用，这是为什么呢？（图1发动机反推的原理图来源：知乎卢西的答案） 这是因为：控制反推器的软件系统，基于安全原因，只有当它认为飞机确实已经“着陆”的情况下，才会打开反推器，而它判断飞机有没有着陆的依据，则是两侧的起落架是否全都压紧了。但当时由于A320客机着陆时一侧机翼比较低，因此另一侧的起落架没有压下，这就导致软件系统判定飞机尚未着陆，因而选择不打开反推器。 （图2反推开启后的实况
