曹雪芹家族背景深厚，他們出身於清代內務府正白旗包衣世家，是皇家的家臣。曹雪芹的祖父是曹寅，曹寅的母親是康熙帝的奶媽，曹寅在年輕時曾擔任康熙帝的伴讀和侍衛。康熙帝對曹家非常眷顧，讓曹家三代四人主持江寧織造府，這個職務主要為皇室提供布匹綢緞，同時曹寅還充當康熙帝的耳目，監視地方官員，並處理皇帝臨時交辦的事務。康熙帝六次南巡，其中五次都住在曹家，這給曹家帶來了極大的榮耀，但也導致了財力的嚴重透支。
曹雪芹的父親是曹瑜，他在雍正年間因與皇室派別鬥爭有牽連而被罷官。曹家的衰敗不僅僅是因為雍正帝的政敵鬥爭，還因為康熙末年的皇子爭位和雍正帝的殘酷政治鬥爭。曹雪芹的父親虧空款項等罪被革職、抄家，家族隨之敗落。曹雪芹少年時經歷了極為富貴豪華的生活，但後來家族衰敗，生活變得艱難。晚年居住在北京西郊，生活困頓，最終窮困潦倒而死。
曹雪芹的祖籍是遼陽，家族在明末原是明朝駐守遼陽的下級軍官。始祖曹世選曾任瀋陽衛的官職，高祖曹振彥在天命六年（明天啟元年，1621）歸附後金，在清軍中擔任過多種職務。崇禎十七年（1644），曹振彥隨多爾袞入關進京，並在清代開國戰爭中立過戰功。曹振彥的兒子曹璽曾任宮廷侍衛，也參與了平姜瓖之亂的戰鬥。曹璽的妻子孫氏是康熙帝的乳母。