鄭州的名稱源自中國歷史上的鄭國。在公元前800年左右，周宣王封他的弟弟姬友到陝西華縣一帶建立鄭國。公元前771年西周滅亡後，周平王東遷到洛陽，鄭國也隨之將都城遷到今天鄭州的新鄭地區，建立了新的鄭國。為了區分舊的鄭國，這個地方被稱為「新鄭」，這就是「新鄭」這個地名的由來。春秋戰國時期，新鄭作為鄭國的都城，歷經500多年，因此也被稱作鄭韓故城。
到了公元549年，東魏武定七年，由於今天的許昌、禹州、新鄭等地區在春秋時期屬於鄭國的地盤，這一地區被命名為鄭州，這是「鄭州」這個名字在歷史上的最早記載。隨後，鄭州這個名稱經歷了多次變更，包括改為滎州，然後在隋朝開皇三年（公元583年）由隋文帝楊堅改回鄭州，此時鄭州開始指今天的鄭州地區。
自隋朝以來，鄭州在隋唐五代、宋、金、元、明、清等八個朝代中曾多次作為州治所在地。北宋時期，鄭州成為鞏魏首都的四輔郡之一。明朝建立後，鄭州劃歸開封府。清代時，鄭州兩次升為直隸州。1913年民國初年，鄭州被改為鄭縣。1948年鄭縣解放後，設定了鄭州市。1954年河南省會從開封遷到鄭州，1963年鄭州火車站成為特等客運站，確立了全國鐵路樞紐的地位。1974年鄭州被公布為國家歷史文化名城，2004年被認定為中國八大古都之一。