草庐IT

马斯克xAI首个研究成果发布!创始成员杨格&姚班校友共同一作

马斯克的xAI,首项公开研究成果来了!共同一作之一,正是xAI创始成员、丘成桐弟子杨格(GregYang)。此前,杨格就曾公开表示,自己在xAI的研究方向是“MathforAI”和“AIforMath”。其中一项重点就是延续他此前的研究:描述神经网络架构的统一编程语言TensorPrograms——相关成果,在GPT-4中已有应用。这次的新论文,就归属该系列,重点探讨了“如何训练无限深度网络”。为此,杨格本人还专门在𝕏上进行了一场直播分享。一起来看看有哪些精彩内容值得mark~训练无限深度神经网络简单来说,这篇文章研究的是残差网络(ResNet)在深度方向的扩展。我们知道,残差网络解决了深度增

沈向洋周明杨格大模型激辩:继续爆堆参数,大模型能出现新的「智能涌现」吗?

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。大模型掀起了一波AI领域的热潮,无论学界研究还是产界创业都风头不减。然而随着关注度变高,AI大牛们对于“大模型未来要走什么路”也产生了分歧:随着参数量的增加,AI模型是否还会有新的“智能涌现”出现?更多模态、更优质的数据,会是AI模型未来发展的关键吗?为什么中国没有出现ChatGPT?……在一场名为“基础科学与人工智能”的论坛上,来自不同领域的几位AI专家,针对这些问题提出了非常激烈的、不同的看法。这场论坛由清华大学教授孙茂松主持,美国国家工程院外籍院士沈向洋、德国国家工程科学院院士张建伟、澜舟科技创始人兼CEO周明、