安徽省建于1667年，清朝初年设置江南省，辖区大致包括现今上海市、江苏省和安徽省。清康熙六年（1667）正式撤销江南省，分为安徽、江苏两省。因安庆府为当时安徽境内的政治中心，徽州府经济发达，故取两府首字而得省名。安徽因历史上有古皖国和境内的皖山、皖河而简称“皖”。[15]
远古时期，就有先民在安徽这块土地上生息繁衍。在繁昌县人字洞发现距今约250万年的人类活动遗址，在和县龙潭洞发掘三四十万年前旧石器时代的“和县猿人”遗址。新石器时代（1万年到4000年以前），安徽是仰韶文化、龙山文化、青莲岗文化和印纹釉陶文化影响的区域。[15]
夏商时期有涂山、南巢、六、英、虎方、林方、人方等部落管辖，亳州在商代曾为成汤之都。西周王朝在今皖西北分封一些小国，如焦、夷、沈、胡等，而以东仍是分散的氏族部落方国。春秋时期大国争霸，这些封国和方国先后沦为吴、越、楚所有。战国后期，安徽全境并归楚国，楚畏秦逼，亦由湖北辗转迁都至今寿县。[15] [35]
秦朝推行郡县制，涉及今安徽的有九江郡、泗水郡、砀郡、颍川郡、会稽（吴）郡。西汉初期，郡县制与封国制并行，安徽郡县分隶淮南、荆、淮阳、梁等国。汉武帝设十三部刺史，安徽分属扬、豫、徐三州。东汉沿袭西汉旧制，调整扬州辖丹阳、九江、庐江3郡，豫州辖汝南郡、陈国、沛国、梁国，徐州辖彭城国、下邳国，共69县。[35] 三国时期，安徽分属吴、魏，境内曾发生多次战争；两晋、南北朝，分属扬、徐、豫三州。[15] 隋罢郡为州，以州统县，先后设颍、亳、宋、陈、徐、仁、寿、庐、熙、和、濠、滁、扬、蒋、宣、歙等17州，辖55县。大业初，复汉制，安徽分属扬、豫、徐三州。[36]