唐先天元年（712），始設(shè)臨汝縣城。

唐貞元八年（792），臨汝縣城遷往石壕驛（今臨汝鎮(zhèn)）。

宋代，為天寧街，屬梁縣。

明代，設(shè)小店鎮(zhèn)，屬紫邏里。

清代，為小店鎮(zhèn)，屬紫邏里。

1912年，改為小店街，屬紫邏鄉(xiāng)。

1949年，重設(shè)小店鎮(zhèn)，屬城關(guān)區(qū)。

1956年，為小店街高級社，屬小店鄉(xiāng)。

1958年，屬小店鋼鐵公社。

1960年，為小店生產(chǎn)大隊(duì)，屬小店人民公社。

1984年，更名小店村民委員會(huì)，屬小店鄉(xiāng)。

1994年，屬小店鎮(zhèn)。