黃種人這個稱呼主要與人類的皮膚顏色和文化傳承有關。在中國，黃色歷來被尊稱爲皇家顏色，是吉祥幸運的象徵。然而，“黃種人”這個概念出現時，這其中就帶有了明確的人種歧視，而且還傳達出了一種文明人就是白種人的偏激觀點。這一點可以從曾於16世紀期間遊歷東南亞的葡萄牙藥劑師皮列士所撰寫的《東方誌》中可以看出。所以西方列強開始重新審視中國的文明，將中國人“貶”爲黃種人。於是在西方人眼中我們慢慢就變成了黃種人。所以一開始我們是被別人人種的。
另一方面，人類的皮膚顏色因爲文化傳承、地理因素、歷史原因等多種因素而存在巨大的差異。而在低緯度溫帶地區里人的皮膚顏色較淺，環境的變化迫使人類必須進化改變自己，也導致了人類膚色的差異。例如，中國位於東亞地區，日照充足但紫外線輻射相對較弱。相比歐洲人的白色皮膚，中國人的皮膚逐漸演化成了黃色，這是爲了更好地保護皮膚內部細胞免受紫外線損傷的適應策略。
總的來說，“黃種人”這個稱呼並不是我們自己給的，而是由外國人定義的，甚至帶有明顯的歧視意味。