互信息是什麼

資訊理論中一種重要的概念

互信息是資訊理論中一種重要的概念，用於度量兩個隨機變數之間的相關性。

互信息表示一個隨機變數中包含的關於另一個隨機變數的信息量，或者說是當一個隨機變數的值已知時，減少另一個隨機變數不確定性的程度。互信息是非負的，並且在某些情況下可以為零，比如當兩個隨機變數獨立時，它們的互信息為零。互信息也可以用於特徵選擇和降維問題，評估一個特徵與目標變數之間的相關性。