1278年屬新會(huì)縣龍溪鄉(xiāng)。
民國(guó)時(shí)期,屬新會(huì)縣第四區(qū),稱潮連鄉(xiāng)。
中華人民共和國(guó)成立后,屬新會(huì)縣第四區(qū),稱潮連鄉(xiāng)。
1958年,成立潮連人民公社,芝山鄉(xiāng)改稱芝山大隊(duì)。
1977年,潮連公社從新會(huì)縣劃歸江門(mén)市郊區(qū),仍稱芝山大隊(duì)。
1983年,撤銷(xiāo)潮連公社設(shè)潮連區(qū)公所時(shí),改為芝山鄉(xiāng)。
1988年,潮連區(qū)公所改鎮(zhèn),稱芝山管理區(qū)。
1998年,芝山管理區(qū)改名為芝山村民委員會(huì)。
2002年,屬江門(mén)市潮連街道,2005年,改稱芝山社區(qū)居民委員會(huì),沿用至今。