什麼是困惑度

困惑度(Perplexity)是衡量語言模型好壞的一個重要指標，主要用於評估模型預測序列的能力。

困惑度越小，表示模型預測得越好，在資訊理論中，困惑度用於度量一個機率分布或機率模型預測樣本的好壞程度，它可以被看作是交叉熵的指數形式。當語言模型訓練完成後，用於測試的句子都是正常的句子，此時模型在測試集上的機率分布越高，表明模型預測得越好，困惑度也就越小。