「紅頭阿三」的稱呼起源於19世紀末至20世紀初的上海，當時上海是列強租界的集中地，英國租界內有許多印度錫克教徒擔任警察。這些印度警察通常會在頭上纏著紅色頭巾，這是「紅頭」一詞的來源。
至於「阿三」的來源，有幾種不同的說法：
這些印度警察在向他們的長官匯報時，經常會使用「Yes, I see.」（是的，明白。）這句話，在上海方言中，「阿三」與這句話的諧音相似，因此得名。
在英語中，「Sir」（先生）的發音與上海方言中的「三」相似，而上海人習慣在單音節詞前加「阿」，因此印度警察被稱為「阿三」。
有說法認為這是對印度人的一種貶稱，因為印度人通常被認為在英語使用上較為流利，喜歡在中國人面前擺譜，因此得到了「阿三」的稱呼。
隨著時間的推移，「紅頭阿三」逐漸演變成對印度警察的一種普遍稱呼，最終擴展到對所有印度人的蔑稱。這個稱呼反映了當時社會對印度警察的某種程度的不滿或輕蔑態度。