白沙灣海邊巨石的鬼故事有很多，但大多數都是虛構的，沒有科學依據。其中比較流行的一種說法是：
在白沙灣海邊巨石附近有一座孤零零的石頭，傳說很久以前，有位漁民在海上遭遇風暴，流落到白沙灣，被好心人收留。但漁民卻得了重病，無法醫治。為了報答好心人的救命之恩，他將自己隨身攜帶的玉佩贈予對方。這塊玉佩原本是他的妻子留給他的唯一念想，是他與妻子定情的信物。漁民離開後，他病死在海邊，變成石頭人守護著白沙灣。
以上只是眾多鬼故事中的一個例子，至於是否真實存在鬼魂，目前科學尚未有定論。無論在白沙灣海邊巨石還是其他地方，都要保持安全意識，遵守相關規定，避免危險和意外發生。