桃酥名字的由來，有以下兩種說法：
相傳在唐元時期，江西景德鎮周邊縣農民紛紛前往做陶工，由於當時工作繁忙，當時有一位農民將自家帶來的麪粉攪拌後直接放在窯爐表面烘培，由於其常年咳嗽，平日常有食桃仁止咳習慣，故在烘培時候會加入桃仁碎末。其他瓷工見此法做的乾糧便於保存和長途運送，便紛紛仿效，並取名“陶酥"，後諧音爲桃酥。
桃酥原名叫核桃酥，因其表面皺裂，酷似核桃並且製作過程中有添加核桃，喫起來酥、脆、香而得名，後來簡稱爲桃酥。
此外，還有一位姓李的糕點師傅爲慶祝科舉考試的成功製作桃酥宴請賓客，因其形狀和顏色與桃花相似而得名的說法，但沒有確切的史料證明，僅爲傳說。