早在远古时期，准格尔旗就有古人类活动的足迹。考古学家在准格尔旗纳林川畔和黄河沿岸发现了不少旧石器早期的石器遗存。证明在旧石器时期，准格尔旗地区已有了古人类活动。他们在这里生活繁衍，过着以狩猎为主、采集为辅的群体生活。
准格尔地秦朝时属云中郡、上郡，上郡广衍县治今纳日松镇勿图门村。[48] 伊克昭盟蒙古鄂尔多斯部七旗王公会盟铜像
西汉时，属云中、西河2郡，云中郡沙南县治今十二连城乡脑包湾村；西河郡治平定县城在今纳日松镇羊市塔村，领广衍、美稷等县，美稷县治今沙圪堵镇纳林村。东汉时属并州云中、西河2郡，西河郡美稷县设南匈奴单于庭。
三国、西晋时属南匈奴；东晋时历属后赵、前秦、后秦、夏。[48]
南北朝时初，属北魏夏、朔2州；次分属西魏、东魏；后分属北周、北齐。
隋朝时初，属云州榆林县，治今十二连城乡脑包湾村；次属胜州榆林、富昌2县，富昌县治今十二连城乡天顺圪梁村；后改胜州为榆林郡，治榆林，领榆林、富昌等3县。 准格尔旗王爷府
唐朝时，历属关内道、朔方节度使、振武节度使之胜州，治榆林，领榆林、河滨2县，河滨县治今十二连城乡天顺圪梁村。
五代时，属振武节度使之胜州。[48]
宋朝时初，分属辽西京道东胜、金肃2州和北宋河东路丰州，东胜州领榆林、河滨等县，金肃州治在今沙圪堵镇境内，丰州治今纳日松镇二长渠村；次分属金西京路宁边、东胜2州和西夏，宁边州治今龙口镇台子梁村；后尽归西夏。
元朝时，属中书省山西道大同路东胜州。[48]
明朝时初，属山西省东胜卫，东胜右卫治今十二连城乡脑包湾村；后尽归漠南蒙古鄂尔多斯部。