南少林寺的起源可以追溯到南朝陳永定元年（557年），其前身是「林泉院」。關於南少林寺的創立，有不同版本的說法。一種說法是，南少林寺始建於唐代龍朔年間（661年），由智空和尚在清源山麓建立。另一種說法是，唐初因十三棍僧救唐主有功，太宗皇帝特敕北少林曇宗方丈在南方建少林寺，稱為南少林寺。
無論是哪種說法，南少林寺都是一個重要的佛教禪宗文化遺產，同時也是南少林武術的發源地之一。在明代末年的反清復明運動中，莆田南少林寺被清廷重兵圍剿焚毀，寺中武僧流散隱入莆田民間，於是少林寺武術開始在莆田傳承，至今已有三百多年歷史。
泉州南少林寺曾經是一個龐大的建築群，但現在現存的東禪少林寺僅是泉州少林寺的一小部分。南少林武術也隨著泉州移民潮遠播海外，影響廣泛。