"日耳曼"這個詞的來源有兩種解釋。一種解釋是，這個詞來自凱爾特人對他們的稱呼"Germani"，意思就是「吵鬧的鄰居」。在古日耳曼語裡，「Gērmanni」表示「執矛戰士」。另一種解釋是，最早使用「日耳曼人」這一稱呼的是希臘人，但真正被人熟知則是在羅馬人的記載中。公元前51年，凱撒征服高盧，在他的《高盧戰記》中開始使用日耳曼人這個稱呼。凱撒將萊茵河以東的民族統稱為日耳曼人。
日耳曼人並非一直居住在萊茵河東岸，更早的時候，他們居住在斯堪地那維亞半島一帶，也就是現在的瑞典、挪威、丹麥和德國北部這一帶。大約在公元前6世紀，迫於生存壓力，日耳曼人開始向南遷徙進入現在德國西部的萊茵河地區。
"German"是日耳曼的意思，這個原本是一個歐洲北方的蠻族的名字（相對於文明先進的羅馬帝國拉丁人而言），該蠻族遍布於歐洲北方很多地方，先今的德國只是其中一片，日耳曼人也遍布於古時候的荷蘭、丹麥、斯堪地那維亞等等地方。