回山地区因四围皆山而古称围山，历代相称衍化成“回山”两字。此地每当夏秋早晨，山谷中层云叠出，经朝阳照射，状如彩烟，故又俗称“烟山”。
回山镇宋至清属彩烟乡。
清宣统二年属南区彩烟乡。
1957年划出安顶乡。
1961年置回山人民公社。
1983年改乡。
1992年六月撤区扩镇并乡，将安顶，新天两乡并入回山镇。[1][10]
2019年11月20日，新昌县召开全县乡镇行政区划调整动员大会，新昌将由8个镇5个乡3个街道调整为6个镇2个乡4个街道，共12个乡镇（街道）。其中，撤销回山镇、双彩乡建制，合并组建新的回山镇。[4]
风景
截至2014年，回山镇辖26个行政村：宅下丁村、下山村、西丁村、官塘村、植林村、丁山村、屯外村、大宅里村、晨光村、樟花村、回山村、上市场村、前陈村、柘前村、旧里村、官元村、贤辅村、新洋村、高湾村、中宅村、王家市村、蟠溪村、雅里村、上下西岭村、红联村、荷塘村。镇政府驻回山镇上市场村。[1][10][2] 街景
2019年11月20日，新昌县撤销回山镇、双彩乡建制，合并组建新的回山镇，调整后，回山镇下辖32个行政村，镇政府驻原回山镇政府。[4]
截至2020年6月，回山镇辖32个村。[16] 镇政府驻回山镇上市场村。