信息熵公式

信息熵的公式為H(X) = -∑P(x)logP(x)。

其中，P(x)是某個事件發生的機率。信息熵是用來衡量信息源的平均信息量或者不確定性，它描述了使用最優編碼方式時，信息源的平均編碼長度。