呼和浩特为蒙古语“ᠬᠥᠬᠡᠬᠣᠲᠠ”的音译，意为“青色的城”，寓意着亲切、质朴和希望。[25][26] 呼和浩特市修建于明隆庆六年（1572年），由蒙古土默特部首领阿勒塔汗主持兴建，原名为“库库和屯”城。城郭建在青山如屏黑水如带、碧野平芜的草原上，所用砖瓦皆青色，远看城市一片青色。蒙古语谓青色为“库库”，城为“和屯”。明万历三年（1575年），明朝赐城名为“归化”。[27][28] 民国时改为归绥市。1954年，内蒙古自治区人民政府改归绥市名为呼和浩特市。[29]
据考古发现，在呼和浩特市东郊发现了70万年前的大窑文化遗址，该遗址证明了呼和浩特地区早在旧石器时代就有人类在此繁衍生息。[31] 公元前4世纪至前3世纪，该地区出现林胡和楼烦等部族。战国末期，匈奴族迅速发展，进入鄂尔多斯高原，收服林胡和楼烦等部族。赵武灵王元年至二十八年（公元前325至前298年），赵武灵王改革军制，向北开拓疆土，在该地区设置云中郡（托克托县境、大青山以南平原地区）。秦王政十三年（公元前234年），秦将李信率兵攻打赵国，占领云中郡。呼和浩特市和托克托县地区为秦国所占有。[32]
秦王朝建立以后，进一步确立和完善了战国时期的郡县制，分天下为36郡，仍袭用云中郡（托克托县古城村、呼和浩特市、托克托县、和林格尔县、清水河县和伊克昭盟东南部地区）。[32]
汉高帝元年（公元前206年），汉朝沿用秦制，亦称该地区为云中郡，后将云中郡南部划归定襄郡。公元前125年（汉武帝元朔四年），匈奴3万余骑兵攻入代郡、定襄郡，杀戮并俘获上千余人。汉武帝元朔六年（公元前125年），汉将卫青带领10万余骑兵出定襄郡攻打匈奴，斩杀俘获万余名匈奴人。[29][32]