冠冕堂皇的典故源自兩個歷史人物的故事。
冠冕一詞出自《三國志·卷三七·蜀書·龐統法正傳·龐統》。三國時期，蜀國的將軍龐統曾是一個不起眼的少年，二十歲時拜訪了司馬徽。司馬徽在樹上採桑，龐統坐在樹下與他交談，一直聊到天黑。由於龐統的談吐不俗，司馬徽稱他為南州之士的「冠冕」，意指才識出眾的人。在這裡，「冠冕」原指帽子，是衣飾之首，引申為南州眾士之首，表示龐統的才識出眾。
堂皇一詞則見於《漢書·卷六七·楊胡朱梅雲傳·胡建》。漢武帝時期，渭城縣令胡建是個剛正不阿、嫉惡如仇的人。他在軍中時，與走卒打成一片，感情甚篤。當時管軍務的監軍御史將軍地據為己用，做起生意來。胡建認為監軍違反軍紀，理當問斬。於是他告訴走卒：「有人不守軍紀當斬，我要你們抓誰就抓誰，斬誰就斬誰。」在選兵馬之日，監軍與其他軍官坐在廳堂上，胡建帶著走卒下堂拜見後，指著監軍叫道：「取彼！」走卒便一擁而上將監軍抓下堂來，胡建又下令：「斬之！」走卒就將他斬殺。
後來，「冠冕」和「堂皇」這兩個詞語被合用成「冠冕堂皇」，形容莊嚴體面、氣派高貴的樣子，也用於形容表面上光明正大的樣子。