下午茶的故事有很多，其中之一是關於瑪莉皇后和她的三明治。據說在17世紀的時候，瑪莉皇后為了使她的廚娘在寒冷的下午能有些東西充飢，就讓他們用麵包夾著肉片、乳酪、蔬菜等，發明了三明治。
另一個故事是關於英國貴族和伯爵的。在18世紀的時候，英國貴族和伯爵在午後時分習慣於在戶外用餐，享受溫暖的陽光和微風。由於這種戶外用餐活動通常是在下午三點半左右，當時的人們也把這個時間點視為一個優雅的休閒時間。貴族們在此時喜歡品嘗紅茶、蛋糕、小點心等食物，這也標誌著下午茶正式的開始。
還有一種說法是在殖民時代，由於黑奴們經常在午後騷擾那些正在工作的白人主人，讓他們無法專心工作或用餐。為了避免這種困擾，有些人便將用餐時間改到了下午3點，也就是所謂的下午茶。這個習慣後來逐漸在英國上流社會中流行起來。
以上只是下午茶故事的一部分，實際上，下午茶的歷史可以追溯到17世紀的英格蘭，當時一些富裕的倫敦商人已經有了在下午喝下午茶的習慣。而到了18世紀，下午茶已經成為了英國上流社會的一種生活方式，人們會在優美的客廳里，一邊品嘗茶香，一邊欣賞音樂和優美的舞蹈。