鹿港意樓的故事如下：
鹿港的閩南移民，早期多半來自漳州府平和縣和龍溪縣。兩縣的地形複雜，早期不宜耕種，不少人又聚集成群沿著大甲溪往下游往下游落腳，發現溪邊地形稍平且適宜墾殖處便群居形成聚落。在這種墾墾的歷史中就包含了不少溪畔漁村慘烈的族群鬥毆械鬥傳說，古名曾被稱為武鹿，“武”便由此傳說而出，“鹿”即山川都的江山稱鹿港。這些由於宗派爭執導致的鬥毆十分殘酷。由小事到大到械鬥動用大炮火槍這種魚死網破的做法使參加的民眾大多數人都成為骷髏的焚化者或受害者的犧牲者，或者拋入深水死無葬身之地，幾乎可以說是族滅家亡慘案比比皆是好幾次發生在各村各坊鬧到縣府被勸阻而罷為止，一時殺戮十分慘烈。
在當時這種族群械鬥械鬥之後為了平息民憤和民心鹿港就有人蓋起了一座廟宇來收容那些死無葬身之地的骷髏和殘肢，這就是後來在港西鄉上莊村溪畔出現的“骷髏廟”，也稱“意溪樓”。後來，人們為了紀念這座廟宇之第一所在墾拓區設定行政區域時乃命名為鹿港，此鎮的名稱迄今未改，“鹿港”因而也成為這地區代表性的地名亦即地名由來。意樓是由壯士之家青年團伙仇殺留下的特殊歷史印痕。現在字林一號古厝前面的壁報上有台南市政協郭王松參事題寫的“骷髏廟遺址”五字的紅漆石刻。
以上就是鹿港意樓的故事，這個故事充滿了血腥和悲壯，同時也反映了早期移民在艱苦的環境下為了生存而進行的鬥爭。