勵志

勵志人生知識庫

吉布斯不等式

吉布斯不等式是由約西亞·吉布斯在19世紀提出的。在資訊理論和機率論中,它能夠套用於Fano不等式訊號源編碼定理的證明。該不等式表述為:若\( p_i, q_i \in (0,1] \) 且 \( i = 1, 2, \ldots, n \),則有

\[ \sum_{i=1}^{n} p_i \log \left( \frac{p_i}{q_i} \right) \geq 0 \]

等號成立若且唯若\( p_i = q_i \) 對所有\( i \) 成立。這個不等式在資訊理論中用於衡量兩個機率分布之間的差異,特別是在計算相對熵(Kullback-Leibler divergence)時發揮作用。