元代時(shí)期，境域?qū)偕抽T(mén)社。

清道光年間（1821年—1850年），長(zhǎng)島設(shè)13社，大黑山島設(shè)北莊社和南莊社，小黑山島設(shè)小黑山島社，時(shí)北莊社轄北莊、土島2村，南莊社轄南莊、船旺、西濠、大濠、小濠5村，小黑山社轄小黑山村。

民國(guó)二十三年（1934年），改設(shè)北莊鄉(xiāng)和南莊鄉(xiāng)。

民國(guó)三十四年（1945年），隸屬?gòu)R島區(qū)。

民國(guó)三十五年（1946年），設(shè)黑山區(qū)。

民國(guó)三十七年（1948年），改設(shè)黑山鄉(xiāng)，區(qū)劃不變。

1949年后，仍設(shè)黑山鄉(xiāng)。

1958年11月，長(zhǎng)島縣并入蓬萊縣，為長(zhǎng)島公社黑山大隊(duì)。

1963年6月，復(fù)置長(zhǎng)島縣，改設(shè)黑山公社。

1984年，撤銷(xiāo)黑山公社，設(shè)立黑山鄉(xiāng)。

1985年，撤銷(xiāo)黑山鄉(xiāng)，分別設(shè)立大黑山鄉(xiāng)和小黑山鄉(xiāng)。

2000年12月，小黑山鄉(xiāng)并入大黑山鄉(xiāng)，設(shè)立黑山區(qū)公所。

2003年2月，撤黑山區(qū)公所，設(shè)立黑山鄉(xiāng)。