交叉熵是資訊理論中的一個重要概念，主要用於度量兩個機率分布之間的差異性。
在機器學習中，交叉熵常用於衡量真實機率分布與預測機率分布之間的差異，評估分類模型的性能。交叉熵越小，表示預測分布越接近真實分布，模型的性能越好。在機器學習中，交叉熵通常作為損失函式使用，特別是在訓練分類模型時。例如，在二分類問題中，如果模型預測某個樣本屬於正類的機率越接近實際標籤（例如，實際標籤為1，模型預測也為1；實際標籤為0，模型預測接近0），則損失函式值越小；反之則越大。對於多分類問題，交叉熵損失函式可以表示為對每個類別的預測機率與真實標籤的one-hot編碼之間的差異的度量。
此外，交叉熵損失函式在訓練神經網路模型時也非常有效，因為它可以衡量網路輸出和真實標籤之間的差異，並通過反向傳播算法更新網路參數來最佳化模型。