史前时期，从三道岭、七角井发现大量的磨制石器可证明，距今7000年前的原始社会新石器时代，哈密人的祖先已在这里繁衍生息了。从前20世纪开始，先后有多种民族在这块绿洲上生活过。
两汉时期（前206—220年），西汉时哈密称伊吾卢，西汉神爵二年（前60年），西汉设西域都护府，伊吾卢和蒲类国归西域都护府管辖。东汉开始哈密称伊吾。东汉永平十六年（73年）在伊吾设置宜禾都尉，东汉永建六年（131年）顺帝又设伊吾司马，驻伊吾主持军事和屯垦。
三国、魏晋时代，魏在哈密仍置宜禾都尉，东晋咸和二年（327年），位于河西的前凉国张骏攻取伊吾后，把伊吾划属敦煌郡治理，伊吾建置相当于县。张骏委派参军索孚为伊吾都尉被视为设置郡县之始。南北朝时，西凉残部唐契、唐和兄弟二人和外甥李宝率余部，历尽艰辛从武威（凉州）逃来伊吾依附于柔然，有众2000余家。柔然命唐契为伊吾王。北魏太安二年（456年），北魏敦煌镇将尉眷率兵曾一度攻占伊吾。随着北魏势力的进一步扩大，柔然汗国的瓦解，北魏太和十二年（488年），柔然伊吾城主高羔子降附，北魏置伊吾郡。这是哈密最早的行政建置。
隋初，文帝派元晖出伊吾，联络西突厥达头可汗。以后达头可汗的使者和达头可汗本人都先后经伊吾到隋朝觐，受到文帝的特殊礼遇。大业四年（608年），炀帝派裴炬和将军薛世雄率军屯驻伊吾。隋军在伊吾城东另建一座新城，号新伊吾（哈密回城）。大业六年（610年），设立伊吾郡，并在伊吾城之东北设立柔远镇（沁城）。隋末，伊吾属西突厥。
唐朝贞观四年（630年），伊吾城主以7城降附，太宗以其地置西伊州。两年后去西字称伊州。辖伊吾（今哈密）、柔远（今沁城）、纳职（今四堡）三县。景龙四年（710年），设伊吾军，驻地在伊州西北之甘露川（今巴里坤大河）。天宝元年（742年），伊州改称伊吾郡、属陇右道辖治。天宝三年（744年），东部回鹘崛起，蒲类为其领土。乾元元年（758年），伊吾郡又改称伊州。广德二年（764年）后，伊吾被吐蕃人占领，一直沿继了90年左右。