回祖村清代屬道美里；民國時(shí)期屬第三區(qū)王禹編村管轄；1949年屬第四區(qū)（駐壇鎮(zhèn)）王禹行政村管轄；1953年屬第四區(qū)(駐壇鎮(zhèn)）王禹鄉(xiāng)管轄；1958年8月，中共中央作出《關(guān)于在農(nóng)村建立人民公社問題的決議》，我國全面開展人民公社化運(yùn)動(dòng)，實(shí)行政社合一、撤鄉(xiāng)建社，農(nóng)業(yè)生產(chǎn)合作社改稱為生產(chǎn)大隊(duì)；實(shí)行生產(chǎn)資料分別歸公社、生產(chǎn)大隊(duì)、生產(chǎn)隊(duì)三級(jí)組織所有的體制；1958年屬鋼鐵（南關(guān)）人民公社王禹管理區(qū)；1961年屬王禹人民公社，為回祖生產(chǎn)大隊(duì)；1983年10月，中共中央、國務(wù)院聯(lián)合發(fā)出《關(guān)于實(shí)行政社分開建立鄉(xiāng)政府的通知》，要求實(shí)行政社分開，恢復(fù)鄉(xiāng)鎮(zhèn)，建立鄉(xiāng)（鎮(zhèn)）人民政府；同時(shí)，生產(chǎn)大隊(duì)改為村民委員會(huì)，撤銷生產(chǎn)大隊(duì)管理委員會(huì)。

靈石縣委、縣政府根據(jù)中共山西省委通知，在全縣進(jìn)行基層政權(quán)體制改革，故將王禹人民公社改為王禹鄉(xiāng)，回祖生產(chǎn)大隊(duì)改為回祖村民委員會(huì)，1983年至今屬王禹鄉(xiāng)管轄。