桃木被認為具有辟邪作用的原因主要基於中國古代的神話和傳說。根據傳說，桃木與神仙、鬼魂有著密切的聯繫，具體可參考如下：
夸父追日的故事。夸父追日，臨死前將手中的杖拋出，化成了一片桃林。這片桃林與太陽有著緊密的聯繫，而太陽能驅除黑暗和邪惡，因此鬼魂害怕桃木。
後羿的故事。後羿被桃木棒擊殺，死後被封為宗布神。他在一棵桃樹下，牽著一隻老虎檢驗經過的鬼魂，惡鬼會被老虎吃掉，從而保護人間安寧。
鬼域世界的傳說。在鬼域的世界中，有兩個神人名叫神荼、鬱壘，他們的職責是捉拿作惡的鬼魂。鬼域的大門設在桃樹東北方，門邊用桃木雕刻的神荼、鬱壘的形象，或者刻有他們名字的桃木板，被認為可以鎮邪避惡。
這些傳說共同構成了桃木辟邪的文化基礎，使桃木成為了一種具有特殊意義的材料，被用於製作各種辟邪物品，如桃木劍、桃符等。