草庐IT

13、佐治亚理工学院、中国小米公司共同提出:Swift Parameter-free Attention 人类注意力模型上的璀璨皇冠

本文由美国佐治亚理工学院和小米公司于2023.11.21日,共同在《ElectricalEngineeringandSystemsScience 》期刊上发表,佐治亚学院也称乔治亚学院,与麻省理工、加州理工学院并称美国三大理工学院,被誉为美国“公立常春藤”,全球高校QS-2023第12位,THE-2023榜单第11位。目前全网没有对该模型进行解读的,老样子,我先来,占个原创版权。两家单位共同提出一种由对称激活函数+残差连接的无参数自注意力模型(不讲五的,没有参数,让后面注意力模型咋玩),论文如下:论文链接:[2311.12770]SwiftParameter-freeAttentionNetw