KL散度（Kullback-Leibler Divergence），也被稱為相對熵(Relative Entropy)或信息散度(Information Divergence)，是一種用於度量兩個機率分布之間差異的度量方法。具體可參考如下：
在連續隨機變數的情況下。KL散度越大，說明兩個機率分布之間的差異程度越大；反之，KL散度越小，則說明兩個機率分布之間的差異程度越小。若且唯若兩個機率分布完全相同時，KL散度為0。
在資訊理論中。KL散度被視為使用一種分布（例如Q）來近似另一種分布（例如P）時引入的信息損失或誤差。這種損失可以通過計算使用Q分布編碼P分布所需的額外比特數來衡量。
在深度學習和機器學習領域。KL散度被廣泛套用於生成模型，用於量化真實數據分布與生成數據分布之間的差異。通過最小化這兩個分布之間的KL散度，可以使生成數據儘可能接近真實數據。
此外，KL散度的一個重要特點是它不具備對稱性，即P對Q的KL散度不等於Q對P的KL散度。因此，KL散度並不是一個傳統的距離度量方法。