RMSNorm论文阅读1.论文1.1RMSNorm介绍RMSNorm论文中对LayerNorm的公式做了改造。在原有LayerNorm中借助了每个layer统计的mean和variance对参数进行了调整，但RMSNorm认为re-centeringinvarianceproperty是不必要的，只用保留re-scalinginvarianceproperty。LayerNorm的计算如下：改造后的RMSNorm如下：RMS中去除了mean的统计值的使用，只使用rootmeansquare(RMS)进行归一化。1.2pRMSNorm介绍RMS具有线性特征，所以提出可以用部分数据的RMSNorm

LayerNormalization(LayerNorm)RootMeanSquareLayerNormalization(RMSNorm)原理对特征张量按照某一维度或某几个维度进行0均值，1方差的归一化操作LayerNorm是一种标准化方法，它计算一个样本的均值和方差，然后使用这些来对样本进行归一化。这种方法是独立于批量大小的，使得模型更加稳定。RMSNorm是对LayerNorm的一个改进，没有做re-center操作（移除了其中的均值项），可以看作LayerNorm在均值为0时的一个特例。论文通过实验证明，re-center操作不重要。RMSNorm也是一种标准化方法，但与LayerNo