困惑度是什麼

困惑度(Perplexity)是資訊理論和統計學習中的一個概念，用於衡量機率分布或機率模型預測樣本的好壞程度。

在自然語言處理(NLP)中，困惑度是評估語言模型性能的一個重要指標。它通過計算模型對測試集樣本機率分布的期望值來衡量，通常取值為負對數似然(Negative Log Likelihood, NLL)的指數形式。當模型對測試樣本的預測機率分布越集中，即模型對測試樣本的預測越確定，其困惑度就越小，模型性能就越好。