山河港自南而北經(jīng)村東，直沖黃泥嶺后折東，山洪爆發(fā)時(shí)，洪水曲折迂回，白浪滾滾，稱白水灣。

相傳在清代，這里人口眾多，曾有72口井，稱井村。

相傳山河遠(yuǎn)在明代有俞、高、柏三戶住此，曾稱三戶。后來(lái)此地逐漸形成貿(mào)易集市，因村依山濱河，名山河。

境內(nèi)有余村塢，稱余村。

據(jù)傳此地曾為古代煉銀子的地方，山中常見(jiàn)有灰白色的溪石，因色如銀子，故名銀坑。

原從潘村至本村有條石子橫路，長(zhǎng)達(dá)1華里，村在路盡頭，稱橫路。

市嶺以北有九條小溪在村境匯合成一條大溪（山河港上源），稱大溪，村以溪名。

取村內(nèi)西吉塢和鶴嶺腳兩自然村首字母，稱西鶴村。

光緒版《孝豐縣志》載：”移風(fēng)鄉(xiāng)巽圖馬跡莊距城三十三里。“又載；”馬跡石，縣東景村與棋盤(pán)石近，上有人馬諸跡，深印逼肖�！�1984年經(jīng)安吉縣人民政府批準(zhǔn)設(shè)立馬吉村。原稱馬跡莊，因“跡”“吉”音近，后稱馬吉。

取五云里、鶴齡兩地首字得五鶴村。

村在桐塢港與五云港匯合處，故名港口。