壽山岩觀音寺的故事有很多，以下是一些典型的：
1. 送子觀音的傳說：古時某村有一姓林名添進青年，娶妻無嗣，常為此悲泣。某日他夢見一位美麗慈祥的觀世音菩薩，答應給其送子。次日添進到寺向觀音祈嗣，不久果真生一男孩，且聰穎好動，便是現在觀音寺前大樟樹下住著的一戶姓毛人家之子。這孩子後來念咒識字，熟讀經書，常幫助鄰里耕作紡織，且常在觀音寺附近放牛，有空就陪觀音塑像說心事。一天，他說要出外經商，三天后來接母親回家。三天后他果然領回一個美麗女子，正是觀音菩薩化身前來，母子倆從此相依為命。
2. 觀音寺的修建：原來這裡是一個四面環山的山窩，古木參天。傳說在很久以前，有一群白鷺飛到這山窩的上空，但見翠竹青青，清泉潺潺，山明水秀，景色宜人，便決定棲息下來。此時，一個樵夫到山窩內砍竹筍，突然發現一根特別粗大的毛竹平放在地上。他上前細看時，身邊又無一人，再抬頭往四周瞧時，發現林中不遠處有個岩洞可作佛地。
以上只是壽山岩觀音寺的部分故事，更多故事可以去當地了解。