「布衣之交」的典故源自戰國時期齊國的孟嘗君。孟嘗君是一位著名的貴族，他以優厚的待遇招攬了許多有才能的人，這些人在他家中食宿，被稱為門客。在這個群體中，有一位門客與孟嘗君的夫人產生了私情。有人將此事告訴了孟嘗君，並建議殺掉這個門客。但孟嘗君認為，對一個人的喜愛是人之常情，因此沒有追究此事。
後來，孟嘗君準備將這位門客推薦給衛國的國君，因為他覺得這位門客有才能，卻未能獲得適當的職位。孟嘗君告訴衛國國君，他與衛君是「布衣之交」，希望衛國國君能給這位門客一個好的前程。這位門客到了衛國後，確實受到了重用。
後來，齊國和衛國之間的關係惡化，衛國國君準備聯合其他國家攻打齊國。在這個關鍵時刻，這位曾被孟嘗君推薦的門客站出來，勸說衛國國君放棄這一計劃。他提到，孟嘗君非常看重他，並曾與他立下「布衣之交」，希望衛國國君不要違背與齊國的盟約。
這個門客的勸說最終影響了衛國國君的決定，使得衛國放棄了攻打齊國的計劃，從而避免了一場戰爭。這個故事後來被用來形容貧賤百姓之間的深厚友誼，也就是「布衣之交」這個成語的含義。