倪姓的起源有多個來源，主要包括：
出自曹姓。黃帝後裔邾武公的次子被封於郳\（今山東滕州境內），建立了郳國，成為邾國的附庸。其後代以國名為姓，稱為郳\氏。戰國時期，郳國被楚國所滅，為了避仇，改姓為兒（念ní），後又去「阝」加「亻」旁成為倪姓。
出自春秋時期邾國後人郳\黎來之後。同樣因為避仇改為倪姓。
出自其他族群改姓或少數民族。例如，後魏代北的複姓賀郳\氏改姓為郳姓，後改為倪姓；清滿洲八旗中有倪姓，世居寧古塔；滿族、蒙古族、土家族等少數民族中也有倪姓。
出自商代的諸侯兒伯之後。商代有兒伯，其子孫以倪為姓。
倪姓的分布和遷移經歷了從先秦時期的山東地區，到戰國後期南遷至江蘇和浙江地區，再到秦漢時期沿長江向西擴散，主要聚集地在東部，尤其是山東高青地區的千乘望族。晉朝以後，因北方戰亂，倪姓大量南遷，唐宋時期在江浙地區形成聚集中心。