传说中的人类始祖伏羲氏（太昊）因蓍草生于此地撰卦于此，遂名本地为蔡。周定王二十二年（前447），楚灭蔡，蔡齐侯逃至江西，建都曰“望蔡”。古时西为上，上蔡在古吕（今河南省新蔡县）、州来（今安徽省凤台）之西，故称上蔡。[6] 2007年被授予千年古县称号
周武王元年（前1046），灭商，封其同母弟叔度于蔡地，建立蔡国，定都今上蔡县城。景王十四年（前531），楚灭蔡国，设立蔡县。显王二十三年（前346），魏、韩联合伐楚，战后，上蔡归韩，韩釐王时置上蔡县。秦王政十七年（前230），秦灭韩，置颍川郡，上蔡县属之。
秦统一后，上蔡县仍属颍川郡。
汉高祖四年（前203），置汝南郡，上蔡县属之。永初二年（108），析上蔡县、西平县之地置定颍县，历经魏、晋，至南朝刘宋废。
三国，属魏国豫州汝南郡。东晋及十六国时期，先后属后赵、前燕、前秦、后秦，后复为东晋所属。
南北朝，初属南朝刘宋，后则一直属北朝。南朝宋移上蔡县治于悬瓠城（今汝南县城），属汝南郡。北魏神龟二年（519），北魏于县境北部置临汝县，又曰武津县（治今朱里镇岗郭村），属汝阳郡，北齐省入上蔡县。 上蔡县
隋开皇六年（586），于临汝县旧址设武津县。大业六年（607），移上蔡县治于旧址，武津县并入上蔡县。
唐，属河南道蔡州。元和十一年（816），省入遂平。长庆元年（821），复置上蔡县。
宋，属京西北路蔡州汝南郡淮康军节度。
金，属京南路蔡州镇南军节度。
元，属河南行省汝宁府。
明洪武初，上蔡县废。洪武四年（1371），复置，属河南布政使司汝宁府辖。
清朝，沿袭明制，上蔡仍属汝宁府。
中华民国时期，初属汝宁府。1913年，河南省废府设道，上蔡属豫南道。1914年，豫南道改称汝阳道，上蔡属之。1927年，道废，上蔡县直属河南省。1932年，设河南省第八行政督查区，上蔡县属之。1948年10月，豫皖苏解放区在上蔡县西部建立洪河县，属豫皖苏解放区第七专区。1949年3月，洪河县并入上蔡县，上蔡县改属确山专区。8月，确山专区改为信阳专区，上蔡县属之。