一丘之貉的典故源自漢朝時期的人物楊憚（也有史料記載為楊惲）。他的父親是漢昭帝時的丞相楊敞，母親是著名史學家司馬遷的女兒。楊憚自幼受到良好的教養，未成年時已成為當朝名人。在漢宣帝時期，楊憚曾向宣帝報告大將霍光的謀反行為，因此被封為平通侯。當時朝廷中賄賂成風，楊憚作為中山郎後，力圖革除這些弊病，因而受到滿朝官員的稱讚。然而，由於他年輕得志且功高自滿，最終與宣帝舊友、深受信任的太僕長榮發生了衝突。
在一次，楊憚聽說匈奴降漢的人說匈奴領袖單于被殺，他便發表評論，指出秦朝信任小人、殺害忠貞大臣導致國家滅亡的歷史教訓，並由此感慨古今君王信任小人，猶如同一山丘出產的貉一樣，毫無差別。這個比喻後來被引申為成語「一丘之貉」，用來形容同類事物沒有差別，如同同一個山丘里生長的貉一樣，形體相同。這個成語通常用來形容反面事物，含有不屑一顧和譏諷的意味。