这是新加坡国立大学在2022aaai发布的一篇论文。WideNet是一种参数有效的框架，它的方向是更宽而不是更深。通过混合专家(MoE)代替前馈网络(FFN)，使模型沿宽度缩放。使用单独LN用于转换各种语义表示，而不是共享权重。混合专家(MoEs)条件计算对于每个输入，只有一部分隐藏的表示被发送到选定的专家中进行处理。与MoE一样，给定E个可训练的专家，输入用x表示，MoE模型的输出可表示为:其中e(.)i是第i位专家的非线性变换。g(.)i是可训练路由器g(.)输出的第i个元素。当g(.)为稀疏向量时，只会激活部分专家。论文中通过MoE和提出的WideNet，每个专家都是一个FFN层。路由为