mmlu是什麼

大規模多任務語言理解

MMLU代表「大規模多任務語言理解」(Massive Multitask Language Understanding)。

MMLU是一個評估和測試大語言模型(LLMs)性能的指標，特別是在多語言環境下。它通過一系列複雜的任務來衡量模型對不同語言的理解能力，這些任務涵蓋了廣泛的學術科目，包括數學、歷史、計算機科學、法律等。MMLU測試不僅包括在零樣本和少樣本設定下的評估，而且還是一個基準數據集，用於測試模型對世界的理解能力。