西漢至三國魏時，金山鎮(zhèn)境域?qū)傥渫す藐翱h。

西晉至十六國“五涼”時期，分屬武興郡晏然縣和武興縣。

北魏至隋初，分屬武威郡林中縣和襄城縣。

唐宋年間，分屬神鳥縣和嘉麟縣。

元時，屬永昌路西涼州。

明清時期，先后歸涼州衛(wèi)和武威縣。

民國元年（1912年）后，屬武威縣豐樂鄉(xiāng)。

1949年9月后，屬豐樂區(qū)。

1952年7月，屬第八區(qū)（豐樂）。

1956年1月，為金山鄉(xiāng)。

1958年10月，與截河壩、青林鄉(xiāng)合并成立豐樂公社。

1962年，成立金山公社。

1983年7月，設(shè)金山鄉(xiāng)。

2018年3月，撤鄉(xiāng)，設(shè)金山鎮(zhèn)。