本期为TechBeat人工智能社区第565期线上Talk。北京时间1月18日(周四)20:00，香港中文大学博士生—高瑞元的Talk已准时在TechBeat人工智能社区开播！他与大家分享的主题是: “MagicDrive-基于3D几何控制的自动驾驶街景数据生成”，介绍了他的团队在新型街景生成框架等相关工作所做的研究。Talk·信息▼主题：MagicDrive-基于3D几何控制的自动驾驶街景数据生成嘉宾：香港中文大学博士生 高瑞元时间：北京时间 1月18日(周四)20:00地点：TechBeat人工智能社区点击下方链接，即可观看视频！TechBeatTechBeat是荟聚全球华人AI精英的成长社

本文经自动驾驶之心公众号授权转载，转载请联系出处。笔者的个人理解虽然扩散模型在2D数据合成上已有很大进展，但如何使用扩散模型生成街景图像用于图像增强并没有很好的实现，当前已有工作通过2Dbbox和segment作为条件，如何拓展到相机位姿（embedding），道路地图（embedding）和3D边界框（embedding）及场景描述（文本）作为控制条件呢？这将对BEV和3D任务有很大帮助。MagicDrive主要思路是啥？最近在扩散模型方面的进展显著提升了与2D控制相关的数据合成。然而,在街景生成中精确的3D控制对于3D感知任务至关重要,但仍然难以实现。将鸟瞰图（BEV）作为主要条件通常会导

在深度学习算法的应用中，高质量的数据是技术创新的关键驱动力，尤其在自动驾驶领域，获取和标注3D感知数据的成本不菲，对于许多研究者和开发者来说都是一个重大挑战。为此，来自香港中文大学、香港科技大学和华为诺亚方舟实验室的研究人员联合提出了基于Diffusion的3D自动驾驶数据生成方法MagicDrive。通过多种3D几何条件的细粒度控制，MagicDrive在生成高保真多相机街景图像的同时，还能够支持多种下游感知任务的训练。图片论文地址：https://arxiv.org/abs/2310.02601项目主页：https://gaoruiyuan.com/magicdrive/Github:ht