龜山島的形成與火山噴發有關，在火山噴發時，大量地殼岩漿和氣體噴發，冷卻後形成了島嶼。在歷史上，龜山島也曾經是重要的軍事要塞，因此也有許多與軍事相關的歷史故事。
另外，傳說古時候大陸有一對童男童女在海邊玩耍，不小心失足將手中的明珠掉入大海中，化為龜山島，便急忙趕去尋找失物。他們不畏艱險，歷經千辛萬苦，終於在島上找到了明珠。但由於明珠已經被大海吞噬，傳說明珠從此已無法再回歸原位。這對童男童女不願離開小島，化作龜山雙龜，永遠守護著那顆寶珠。當地居民也相信這對龜的神力，在小島上建立廟宇，向他們頂禮膜拜。
這些傳說使龜山島的故事流傳至今。