原文：https://www.cnblogs.com/Twobox/p/16791412.html熵熵：表述一个概率分布的不确定性。例如一个不倒翁和一个魔方抛到地上，看他们平稳后状态。很明显，魔方可能有6种状态，而不倒翁很大可能就一个状态，那么我们说在这种情况下，不倒翁的确定性高于魔方。也就是魔方的熵大于另外一个。那么我看表达式：\(H(p)=-\sum_i^nP_ilogP_i\)很明显，当p的概率是0或1时，没有不确定性，熵值为0。当为0.5时，熵最大，最不确定。相对熵https://zhuanlan.zhihu.com/p/372835186zui两个分布相似度的一种度量定义：性质：D(
