黃瓜原名叫胡瓜，是漢朝張騫出使西域時帶回來的。之所以被命名為黃瓜，主要有兩種說法：
一種說法是後趙皇帝石勒改名。後趙王朝的建立者石勒，因對自己國民被稱作胡人感到惱火，於是制定法令，在說話或寫文章時一律嚴禁出現「胡」字，違者將被殺。有一次石勒召見官員時，指著一盤胡瓜問襄國郡守樊坦其名字，樊坦將其稱為「黃瓜」，從此「黃瓜」的稱呼便傳開並一直延續到現在。
另一種說法是隋煬帝楊廣改胡瓜為黃瓜，這是有確切史料記載的。唐朝吳兢在《貞觀政要》中提到隋煬帝改胡瓜為黃瓜的情況，隋煬帝因為擁有一半胡人血統，卻非常崇尚華夏，於是把胡瓜改名為黃瓜。
此外，雖然未成熟時黃瓜呈青綠色，但成熟後的黃瓜外皮是黃色的，因此人們也習慣稱其為黃瓜。