象牙塔的意思最初是由19世紀的法國詩人和文藝批評家沙爾-奧古斯丁·聖伯夫用來批評同時代消極浪漫主義詩人維尼的。它原本是用來形容忽視現實社會醜惡悲慘之生活，而自隱於其理想中美滿之境地以從事創作的人。這個概念後來被逐漸運用到社會生活的各方面，主要是指與世隔絕的夢幻境地、遠離現實生活的世外桃源、隱居之地。在漢語中，象牙塔的外延涵義主要是指比喻遠離現實生活的文學家和藝術家的小天地。大學、研究院正是這種地方，因此象牙塔便逐漸成為大學的代名詞。
此外，象牙塔也可以指富有想像力人的內心五彩斑斕又虛幻的小宇宙，或者在科技幻想學術語中，表示一種幻想的待證實的科技，特別是宇宙探索的高尖端問題。