古为羌地。汉元始四年（4年），王莽在今海晏县三角城设置“西海郡”，辖海晏、刚察等地区。后因王莽篡政纷乱，郡邑废弃。东汉永元十四年（102年），复置“西海郡”（以上见《西宁府新志》）。晋和十六国时（265-420年），设置西平郡，海北州属西秦、北凉、南凉统治（见《甘肃通志稿》）。 海北州风景
隋大业五年（609年），炀帝击败吐谷浑伏允主力后，又设置“西海郡”，郡治多至伏俟城，海晏、刚察仍属其管辖（见隋书）。唐贞观五年（631年），设置米川县，辖门源地区。唐咸亨三年（公元672年），徙吐谷浑诺曷钵于浩门水南。唐广德元年（763年），吐蕃占据青海，海北州属其域（以上见《甘肃通志稿》）。元朝设吐蕃等处宣慰司都元帅府，海北州归其管辖。
明洪武八年（1378年），设安定、阿瑞二卫。海北州在二卫辖境。明正德四年（1509），东蒙古酋长亦不刺阿尔秃斯起兵反抗蒙古达延汗，兵败后，率残部万余人流入青海湖及海西一带驻牧，随后他们攻破塞外4卫，史称“西海蒙古”。明嘉靖年间，东蒙古俺答汗第三次移牧青海。明崇祯年间，驻牧新疆的西蒙古和硕特部首领固始汗进兵青海，取代东蒙古在青海的统治。清顺治十一年（1654），固始汗逝世后，青海蒙古置为左右两翼，作为诸子的领地，海西部分地区也包括在内。清雍正元年（1723），和硕特部亲王罗卜藏丹津起兵反清，雍正二年（1724），清朝平息罗卜藏丹津事件。清廷采纳年羹尧的奏议，用“分别游牧”的办法，于雍正三年（1725），将青海蒙古族分为2翼5部29旗，划定游牧地界，互不统属，不得相互往来。[30] 同时，筑起了大通（今门源县城）、白塔（今大通县城关镇）、永安（门源县城西北55千米处）3城，在今门源县城设“大通卫”，辖永安营和白塔营，属西宁府管辖。