1949年屬第六區(qū)。

1950年屬第七區(qū)。

1954年，平遙縣撤銷區(qū)級建制，設(shè)香樂鄉(xiāng)。

1958年9月屬以寧固為中心的火箭人民公社。

1958年12月屬寧固公社。

1961年12月設(shè)香樂公社。

1971年4月，劃歸呂梁地區(qū)汾陽縣管轄。

1977年10月復(fù)歸平遙縣管轄。

1984年更名為香樂鄉(xiāng)，2001年2月，根據(jù)山西省人民政府《關(guān)于平遙縣調(diào)整鄉(xiāng)鎮(zhèn)行政區(qū)劃的批復(fù)》（晉政函〔2001〕42號）文件，撤鄉(xiāng)并鎮(zhèn)，將西王智鄉(xiāng)整體并入香樂鄉(xiāng)，設(shè)置新的香樂鄉(xiāng)。