互信息（Mutual Information）是資訊理論中的一個重要概念，用於度量兩個隨機變數之間的相互依賴性或相關性。其基本思想是，當一個隨機變數（例如X）的信息已知時，它對另一個隨機變數（例如Y）的不確定性的減少程度。如果兩個隨機變數完全獨立，則它們之間的互信息量為0；如果它們高度相關，則互信息量較大。
互信息量的計算公式可以表示為I(X；Y)=H(X)−H(X|Y)，其中H(X)是隨機變數X的熵，H(X|Y)是在已知Y的情況下X的條件熵。這個公式表明，互信息量等於X的熵減去在觀察到Y之後對X剩餘的不確定性。
互信息量在多個領域中有廣泛套用，例如機器學習、數據壓縮、通信理論等。它可以幫助評估兩個事件或變數之間的統計依賴性，從而支持決策制定或預測。