知识蒸馏Matchinglogits公式推导刚开始的怎么来，可以转看下面证明梯度等于输出值-标签yC是一个交叉熵，我们要求解的是这个交叉熵对的这个梯度。就是你可以理解成第个类别的得分。就是studentmodel，被蒸馏的模型，它所输出的logits。是什么？是targetprobability对吧。是什么？认为就是这个distilledmodel的输出的那个probability。所以就是说这两个概率相减，再乘以这个T分之一T是什么？T是一个温度。我们现在假定是说我们是用teachermodel输出的这个label，然后去训练studentmodel，或者说去训练distilledmodel