OpenAI又迎来一位AI大将。最近，华人科学家程博文官宣离职特斯拉，即将加入OpenAI专攻多模态模型的研究。图片今天是我在特斯拉自动驾驶部门的最后一天，这一年半的经历真的很棒：有机会与才华横溢的同事们共事，学习了如何开发出色的产品等等。但我向通用人工智能（AGI）进发的脚步不会因此而停歇，不久后，我将加入OpenAI的后训练（post-training）团队，参与构建多模态模型的工作。值得一提的是，程博文博士毕业于伊利诺伊大学厄巴纳-香槟分校（UIUC），导师就是大名鼎鼎的计算机科学家ThomasHuang。黄煦涛于2020年4月逝世OpenAI视频生成科学家WillDepue、技术人员F

AI巨佬GeoffreyHinton称，「科技公司们正在未来18个月内，要使用比现在GPT-4多100倍的算力训练新模型」。更大参数的模型，对算力需求巨大的同时，对数据也提出了更高的要求。但是，更多的高质量数据该从何来？英伟达高级科学家JimFan表示，「合成数据，将为我们饥渴的模型提供万亿个token」。作为例证，英伟达与UT的研究人员在最新研究中，提出了一个MimicGen系统，能够大量生成机器人训练数据。论文地址：https://arxiv.org/pdf/2310.17596.pdf具体过程是，通过在模拟环境中，使用数字孪生技术复制真实世界中，人类的操作数据。仅用了不到200个人类演示

只有4k窗口长度的大模型，也能阅读大段文本了！普林斯顿的华人博士生的一项最新成果，成功“突破”了大模型窗口长度的限制。不仅能回答各种问题，而且整个实现的过程全靠prompt就能完成，不需要任何的额外训练。研究团队创建了一种名为MemWalker的树形记忆策略，可以突破模型本身的窗口长度限制。测试过程中，模型阅读的最长文本包含了1.2万+token，成绩相比LongChat大幅提高。相比于相似的TreeIndex，MemWalker可以进行推理并回答任何问题，而不是只做概括。MemWalker的研发利用到了“分而治之”的思想，就此有网友这样评论：每次我们让大模型的思考过程更像人类，它们的表现就会

一年一度的微软「Build开发者大会」前两天刚刚开幕。微软CEOSatyaNadella在发布会上介绍了这次主要的更新，以ChatGPT为代表的生成式AI成为本次大会的重中之重，其中包括自家的重头戏——WindowsCopilot。演讲视频链接：https://youtu.be/6PRiAexITSs前段时间刚宣布回归OpenAI的业界大牛、李飞飞高徒、特斯拉前AI总监AndrejKarpathy，也在大会发表了题为「GPT现状」（StateofGPT）的主题演讲。演讲内容主要包括了解ChatGPT等GPT助手的训练途径，他将其分为标记化（Tokenization）、预训练（Pretraini