南宋咸淳間(1265~1274)屬於潛縣潛川鄉(xiāng),明初屬潛川后鄉(xiāng),清嘉慶十七年(1812)西樂(lè)莊屬潛川后鄉(xiāng)。
民國(guó)初期屬紫溪鄉(xiāng),民國(guó)21年(1932)屬樂(lè)平鄉(xiāng),民國(guó)27年(1938)屬紫云鄉(xiāng),民國(guó)36年(1947)屬紫云鄉(xiāng)至解放。
1950年為西樂(lè)鄉(xiāng)西樂(lè)村,1958年為昌化縣潛川公社樂(lè)平管理區(qū)西樂(lè)生產(chǎn)隊(duì),1960年9月屬臨安縣,1961年為潛川公社西樂(lè)生產(chǎn)大隊(duì),1972年為樂(lè)平公社西樂(lè)大隊(duì),1984年為樂(lè)平鄉(xiāng)西樂(lè)村。
2007年村規(guī)模調(diào)整,西樂(lè)村規(guī)模不變,轄6個(gè)自然村。
2011年1月為潛川鎮(zhèn)西樂(lè)村。