土城由來的傳說有兩種說法：
* 古時候城內土質牢密，適合築城，且附近沒有水源，不用擔心敵人用水攻 。所以，這裡成為了理想的築城之地，因此得名土城。
* 很久以前，有個風水先生給鎮北的土城指點，說這是一塊風水寶地，可保鎮城百年無憂 。原來是很久以前，土城這塊地方曾是一片湖泊，湖心有四個泉眼，從地下湧出清水，形成四條龍，便成了四個龍王，經常降雨禍害百姓。為除水患，姜子牙在這裡修城時有意將部分土裝進袋子壓在城下，這就形成了土城原有的形態**。
太原市小店區的土城遺址是商周時期遺址，是山西省重點文物保護單位。