荔枝宴的典故主要與唐明皇和楊貴妃的故事有關。唐明皇在安史之亂後敗走西蜀，每當看到有關荔枝的詩賦，總會憶起楊貴妃。一日宦官送上一道荔枝菜餚，吃完後唐明皇開懷大笑。此後每當品起此菜，就會想起貴妃出浴的美景，故得此名。
另一個關於荔枝宴的典故是，楊貴妃每到五月初五期間就會出現一種怪病，叫「體臭」，全身大汗淋漓，臭不堪聞。這怪病使楊貴妃大為煩惱，唐玄宗亦為此事，出過皇榜召天下名醫，但應徵者廖廖無幾，致使楊貴妃日夜茶飯不思，一天天消瘦。後來高力士想,家鄉高州既然是荔枝出產地，而浮山嶺酒泉釀出的荔枝酒又因有辟邪除疾強身健體之特有功效而遠近聞名，何不回家鄉帶些荔枝酒給貴妃品嘗呢?於是,高力士立即召令宮中一隊輕騎，快馬加鞭速從高州浮山嶺取回荔枝酒，進獻給楊貴妃。楊貴妃喝完荔枝酒後，怪病消失，於是每月必到「華清池」和「海棠湯浴池」去沐「荔枝酒」浴。