1948年4月前屬尚義鄉(xiāng)第一保（本保含烈姜溝、小溝、南地），后屬第二區(qū)（孝義區(qū)）東白沙行政村。

1952年屬第二區(qū)（孝義區(qū)）白沙鄉(xiāng)。

1959年為孝義公社小溝生產(chǎn)隊(duì)。

1961年為孝義區(qū)白沙公社小溝大隊(duì)。

1963年為孝義公社小溝大隊(duì)。

1982年孝義公社改為城關(guān)鎮(zhèn)。

1983年生產(chǎn)大隊(duì)改為村民委員會(huì)，為城關(guān)鎮(zhèn)小溝村，同年設(shè)立小溝村民委員會(huì)。

1986年城關(guān)鎮(zhèn)復(fù)名為孝義鎮(zhèn)。

2003年撤鎮(zhèn)設(shè)立孝義街道，為孝義街道小溝村民委員會(huì)。