AAAI（AssociationfortheAdvancementofArtificialIntelligence）是国际人工智能领域最权威的学术组织之一，Fellow是该学会给予会员的最高荣誉，仅颁给对人工智能做出「非同寻常的卓越贡献者」，而且评价时间以十年计。由于其评判极其严格，历届AAAIFellow入选者均为人工智能领域公认的著名学者，每年严格限制入选人数，因此被誉为国际人工智能领域的名人堂。今日，AAAI公布了2024年度的Fellow评选结果，共12位学者入选，其中包括清华大学教授朱军。AAAI2024FellowAnimaAnandkumar加州理工学院、英伟达入选理由：对机器学

在开放、高动态和演化环境中的学习能力是生物智能的核心要素之一，也是人类以及大多数动物在「适者生存」的自然选择过程中形成的重要优势。目前传统机器学习范式是在静态和封闭的数据集上学习到一个模型，并假设其应用环境和之前训练数据的属性相同，因而无法适应动态开放环境的挑战。针对该问题，持续学习模拟生物智能的学习过程和学习能力，发展新型的机器学习理论和方法，通过持续学习的过程，以期提升智能体对开放、高动态环境的适应能力。但是，目前主流的机器学习模型通过调整网络参数进行学习，当学习任务的数据分布发生变化时，先前学到的网络参数可能被覆盖，从而导致对先前知识的灾难性遗忘（catastrophicforgetti

我们知道，将激活、权重和梯度量化为4-bit对于加速神经网络训练非常有价值。但现有的4-bit训练方法需要自定义数字格式，而当代硬件不支持这些格式。在本文中，清华朱军等人提出了一种使用INT4算法实现所有矩阵乘法的Transformer训练方法。模型训练得快不快，这与激活值、权重、梯度等因素的要求紧密相关。神经网络训练需要一定计算量，使用低精度算法（全量化训练或FQT训练）有望提升计算和内存的效率。FQT在原始的全精度计算图中增加了量化器和去量化器，并将昂贵的浮点运算替换为廉价的低精度浮点运算。对FQT的研究旨在降低训练数值精度，同时降低收敛速度和精度的牺牲。所需数值精度从FP16降到FP8、