清宣統(tǒng)元年十一月(1909年12月),于金山口(亦稱庫口)設(shè)置呼瑪爾河總卡官,管轄上下卡倫,由瑗琿兵備道統(tǒng)轄。
中華民國初年,劃歸呼瑪廳設(shè)治局管轄,并為治城。
1914年7月,呼瑪“改局為縣”,將金山口改為金山鎮(zhèn)。
東北淪陷時期,為金山鎮(zhèn)保。
1947年設(shè)置金山區(qū),后改為第二區(qū)。
1956年撤區(qū)劃鄉(xiāng),設(shè)置金山鄉(xiāng)。
1958年9月,改稱金山人民公社,翌年并入興華公社。
1961年從興華公社劃出,恢復(fù)金山公社。
1984年初,改為金山鄉(xiāng)。
名稱沿用至今。