明清時期，仰山叫泥濘崗，屬進城鄉(xiāng)（鄉(xiāng)署設羅坊）大橋圍。

清中葉，因從靖安東源請來一尊仰山太子雕像，供奉在老街萬壽宮東邊的仰山太子殿中，此后更名仰山。

1929年后，仰山屬第四區(qū)（區(qū)署駐上富），稱仰山聯(lián)保；1932年，仰山屬第五區(qū)（區(qū)署駐上富），首稱仰山鄉(xiāng)。

1945年，仰山為全縣24鄉(xiāng)鎮(zhèn)之一。

1946年，全縣合為17鄉(xiāng)鎮(zhèn)，東溪鄉(xiāng)并入仰山鄉(xiāng)。

1949年仰山鄉(xiāng)仍屬第五區(qū)（區(qū)政府駐上富）。

1958年全縣并為12個農村人民公社，仰山為其中之一。

1968年與羅坊合并，1972年與羅坊分開，仍名仰山人民公社。

1983年實行鄉(xiāng)政府建制，仰山為全縣15個鄉(xiāng)鎮(zhèn)之一。