阜阳历史悠久，开发较早，大约在5000年前新石器时代晚期，颍河沿岸台地上，已形成一些以农业生产为主的原始聚落。随着社会的发展与历史演变，2500多年前便由聚落形成城邑，乃至建为一国之都。春秋战国以后，或为郡、县、州、府的治所，或为王、公、侯、伯的食邑，几乎代无虚廓。
西周，为胡子国都。
春秋战国，为胡子国都，鲁定十五年（公元前495年），楚灭胡后为楚地，称胡。
秦，置汝阴县，属陈郡。
汉初，为汝阴县，高祖二年（公元前206年），汝阴县改属汝南郡；高祖六年封夏侯婴为汝阴侯于此；王莽新朝改汝阴名为汝坟；东汉复称汝阴县，属汝南郡；更始初年，淮阴王刘玄封刘信为汝阴王，建武年间刘秀改封刘信为汝阴侯；永初二年（108年），安帝封刘显为阜阳侯，封邑不在今阜阳市，但阜阳地名始见。
三国，魏初为汝阴县，属汝南郡；景初二年（238年），析沛国置汝阴郡；后期复为汝阴县，属汝南郡。
西晋，泰始二年（266年），复置汝阴郡，同廓设汝阴县；泰始元年，晋武帝封司马骏为汝阴王，后改封司马谟为汝阴王。
东晋十六国，西晋永嘉之乱后，汝阴郡先后属汉（前赵）、后赵、前燕、前秦、后燕、东晋。汉刘渊封子刘景为汝阴王；刘曜封子刘厚为汝阴王；后赵石虎封子石琨为汝阴王。
南北朝时期，宋永初元年至景平元年（420—423年），为汝阴郡，属豫州。
魏，太常八年至太平真君八年（423—447年），汝阴为魏占领，属魏之豫州，但未设治，因宋将汝阴郡先侨置于司州（今河南信阳）后侨置于合肥，称南汝阴，属南司州；北魏神三年（430年），太武帝封长孙道生为汝阴公；后封孔照为汝阴侯。