梁上君子這個成語來源於東漢時期范曄的《後漢書陳寔傳》。陳寔，東漢時期河南許州長葛市古橋鎮人。
有一天晚上，陳寔的家遭賊手，家賊在屋樑上蹲著，企圖尋找機會行竊。被盜賊驚擾的梁上君子不作他想，獨自嘆息。陳寔起床穿衣呼喚家人的時候，小偷大吃一驚，非常慚愧。此時他知道自己做了偷雞摸狗的事情，對君子是不利的。因此便想逃跑。但陳寔安撫他說：“天下本來就是卑賤者所居之處多得像稻穀似的，只因世路阻塞，眾人強迫採取錯誤的手段以至於此。哪隻眼睛會看人不如人的？應該把眼睛放開，拿個正式的謀生方法。”
小偷很受感動，從此改過自新，洗心革面。後來小偷也成為了當地的鄉賢，並且改名就不叫小偷了，改叫“梁上君子”。
因此，“梁上君子”這個成語是指竊賊，也用來比喻只求敷衍塞責、得過且過的人。