大禹，今遂平地属豫州。唐虞，舜封丹朱于房，为房邑侯。
夏商，属房国。
周，为房子国。景王十四年（前531年），并房子国为楚地。敬王十五年（前505年），楚昭王封夫概于棠溪，为棠溪氏，曰吴房。
秦朝，吴房为一聚邑置义阳县，属颖川郡，后归陈郡。
汉高帝四年（前203年），置吴房县、灈阳县，属豫州刺史部汝南郡。东汉，仍为吴房县、灈阳县。
三国，吴房、灈阳县均属曹魏豫州部汝南郡。
两晋相沿。东晋十六国，先后归属后赵、前燕、前奏领有。
南北朝刘宋，废吴房县，灈阳县属司州部汝南郡，北魏献文帝皇兴二年（468年），设灈阳县，置遂宁，义绥县，属豫州部汝南郡。北齐，义绥县并入遂宁县，撤灈阳县，改属文成郡。
隋初，省遂宁县复置灈阳县。大业二年（600年），罢灌阳县重置吴房县，属豫州部汝南郡。
唐贞观元年（627年），省吴房县。贞观八年（634年），复置，属河南道蔡州汝南郡。元和十二年（817），吴房县改为遂平县，属溵州。长庆元年（821年），复属河南道蔡州汝南郡。
五代相沿。
宋元丰年间（1078—1085年），遂平县属京西北路蔡州淮康军。建炎元年（1127），改遂平县为吴房镇，并入西平县。
金皇统元年（1141年），仍置遂平县。宋开禧四年（1208年），遂平县属南京路蔡州镇南军。
元至元七年（1270年），废遂平县并入汝阳县，属汴梁路汝宁府蔡州。至元三十年（1293年），复置遂平县，属河南江北行省汝宁府。
明，遂平县属河南布政使司汝宁府。清，建置相沿。[5]
民国三年（1914年），废汝宁府，遂平县属河南汝阳道。民国17年（1928年），废道，遂平县直属河南省。 民国21年（1932年），遂平属河南省第八行政区。民国37年（1948年）2月，遂西爱国民主政府成立。9月，遂平、西平分置。
中华人民共和国成立，遂平县属河南省信阳专区。
1965年，析信阳专区设驻马店专区，遂平县属河南省驻马店专区。[4]