西周时，马鞍山地域属吴国，春秋战国时期，先后改属越国和楚国，秦至西晋，均属丹阳县（治所今博望区丹阳镇）。
东晋咸和四年（329年），淮河之滨的当涂县（今安徽怀远县境内）流民南徙，遂于今南陵一带侨置当涂县，江南始有当涂县名，但非实体县。永和元年（345年），江北豫州（今河南东南部，湖北东部）侨置于牛渚（今采石）。
南朝梁天监元年（502年），分丹阳县置南丹阳郡，郡治采石。
隋开皇九年（589年），侨置于皖南一带的当涂县徙治姑孰城（今当涂城关镇），此是姑孰为当涂县城之始，并迄今相沿未变。
北宋太平兴国二年（977年），设太平州，治姑孰城，辖当涂、芜湖、繁昌三县。 共2张 马鞍山
元，改太平州为太平路。元至正十五年（1355年），朱元璋率起义军攻占当涂，改太平路为太平府，辖县照旧。明清府治隶属不变。
民国元年（1912年），辛亥革命成功，裁府留县，当涂县直属安徽省，民国三年（1914年），设芜湖道，当涂属芜湖道。民国十七年（1928年）废道，仍直隶安徽省。抗日战争时人民军队建立了皖江抗日根据地，努力发展自己，打击敌人。
1949年1月29日，含山全境解放。1月30日，和县县城解放。4月20日晚，中国人民解放军发起渡江战役，西梁山国民党守军溃逃，马鞍山江北地区全部解放。4月22日晚，马鞍山江南地区国民党驻军大部逃离；4月24日，江淮军区第五军分区从和县渡江到达马鞍山矿区，进驻皖南电厂和马鞍山分矿，当涂解放。[5]
1954年2月，设马鞍山镇，隶属当涂县。
1955年8月，设马鞍山矿区政府（县级），隶属芜湖专区。