互信息法（Mutual Information）是一種用於評估兩個變數之間相關性的方法，常用於特徵選擇、文本分類、聚類等機器學習和數據挖掘任務。它度量的是兩個隨機變數X和Y之間的共享信息，即知道一個隨機變數後，對另一個隨機變數不確定性減少的程度。互信息的計算公式為I(X;Y)=∑x,yp(x,y)logp(x,y)p(x)p(y)I(X;Y)=\sum_{x,y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)}I(X;Y)=x,y∑p(x,y)logp(x)p(y)p(x,y)。互信息法可以捕捉特徵與標籤之間的任意關係，包括線性和非線性關係，適用於回歸和分類問題。它不返回傳統的統計量如p值或F值，而是返回每個特徵與目標之間互信息的估計值，這個估計值在之間，0表示兩個變數獨立，1表示完全相關。