草庐IT

CRPS:贝叶斯机器学习模型的评分函数

连续分级概率评分(ContinuousRankedProbabilityScore,CRPS)或“连续概率排位分数”是一个函数或统计量,可以将分布预测与真实值进行比较。机器学习工作流程的一个重要部分是模型评估。这个过程本身可以被认为是常识:将数据分成训练集和测试集,在训练集上训练模型,并使用评分函数评估其在测试集上的性能。评分函数(或度量)是将真实值及其预测映射到一个单一且可比较的值[1]。例如,对于连续预测可以使用RMSE、MAE、MAPE或R平方等评分函数。如果预测不是逐点估计,而是分布呢?在贝叶斯机器学习中,预测通常不是逐点估计,而是值的分布。例如预测可以是分布的估计参数,或者在非参数情