什麼是信源熵

信源熵是資訊理論中的一個概念，用於衡量信源（信息源）的信息量及其有序化程度。

信源熵可以理解為機率空間中所有隨機事件的信息量的平均值，通常用大寫字母H表示，其數學表達式為：H(X)=∑i=1np(ai)log2p(ai)，其中X是一個隨機變數，pi是X取第i個值的機率。信源熵不僅反映了信源的總體特性，即信源的統計平均不確定性，還描述了信源中每個符號的平均信息量。