關於姑婆嶼的故事有兩種說法：
* 第一種：
在很久以前，有一個漁民，他在海上打漁時，無意間救了一隻快要餓死的海鳥。海鳥為了報答漁民，帶他到了一個浮出海面的小山，漁民把那座小山命名為姑婆嶼，也叫鳥嶼。
* 第二種種：
很久以前，有個漁村有一對兄妹，妹妹到海邊找食物，遇到一位白髮蒼蒼的老人。老人告訴她，在海邊看見一個石球就不要走過去，否則會遭遇大難。可是妹妹沒聽哥哥的話，依然執意把球帶走。突然海水暴漲，淹沒了整個漁村。兄妹為了拯救村莊，尋找回那個球。最終兄妹倆一起將球拋回海中，漲潮停止了，村莊也得以保全。為了紀念他們這段經歷，村民將這個島嶼命名為姑婆嶼。
這些故事傳說賦予了姑婆嶼豐富的文化內涵和價值。