晉至宋稱漁浦，宋至明為詠歌鄉(xiāng)靈峰里（圖、村）。

清康熙十二年（1673），為江南詠歌鄉(xiāng)靈峰里。

清光緒年間（1875—1908），為東南區(qū)，狐嶺北墅溪區(qū)域?yàn)榘私鞘那f，漁溪區(qū)域?yàn)榘私鞘f。

宣統(tǒng)二年（1910）后，與里山區(qū)域合并為漁鯉鄉(xiāng)。

民國初承沿清制。

1935年后，與里山析分，取原漁溪、墅溪之首字，為大源區(qū)漁墅鄉(xiāng)。

1950年，以狐嶺下為界，北部沿江區(qū)域設(shè)漁溪鄉(xiāng)，南部設(shè)五嶺鄉(xiāng)。

1950年6月23日，杭縣東清鄉(xiāng)小沙村劃入漁溪鄉(xiāng)。

1956年，二鄉(xiāng)合并為漁山鄉(xiāng)。

1958年10月1日，與里山合并建東風(fēng)人民公社。

1960年1月，并入太平大公社，為里山管理區(qū)。

1961年7月，撤太平大公社，析建里山人民公社。

1962年6月，又從里山公社析出建漁山公社。

1984年3月，改公社為鄉(xiāng)。

2007年12月，五豐村劃出歸入東洲街道。