回姓的起源主要有兩種說法：
出自黃帝臣下火正回祿：回祿是傳說中的火神，其名字被用作火災的代稱。在回祿的後裔子孫中，有以先祖名字為姓氏者，稱回氏，是非常古老的姓氏之一。
出自祁氏堯帝之賢臣吳回：吳回是生活在吳山（今浙江杭州西鎮）的一個傑出人物，是顓頊高陽氏的曾孫，老童之子。吳回氏族部落以叫聲宏大的騶虞獸為圖騰，吳回之兄重黎擔任帝嚳火官，叫做祝融，後因辦事不力被帝嚳所殺，吳回便接替了管火之官，任祝融。吳回部落發展後，廣布於今隴縣千山和陳倉區吳山一帶，故曰「回中道」，「回城」，吳山，千山均為其吳回姓名而命名。吳回部族的一部分留居吳山，至夏,商、周仍存。
此外，還有一種說法是唐宋時期，隨著伊斯蘭教在阿拉伯半島的興起，大批阿拉伯穆斯林商人來中國經商，居住在廣州、泉州、杭州、揚州以及長安等地。這些人的後代中，有的為了避免回回名字的重複，在原回回名的前面冠以漢姓，如金阿里、馬穆沙等，以便稱謂。還有少數人採用漢姓名字，如馬昂夫、薩天錫、丁鶴年等等。明代，朱元璋採取了大民族的同化政策，歧視、壓迫少數民族，禁止回族內部通婚和使用「胡語」、「胡姓」。回族迫於壓力,隱去原來的名字,開始採用漢名。但在取姓方式上,與漢族有著很大的區別。他們大多取回回原名和伊斯蘭教先賢名中某一字的譯音立姓，如伯篤魯丁的後裔取其祖輩名字中的「伯」字立姓，後又改「伯」為「白」。