汉代以前，祁连为羌人牧地。
魏晋南北朝，先后成为前秦、前凉、后凉、南凉、西秦、北凉等地方割据政权和吐谷浑属地。
隋朝，隋炀帝西征击败吐谷浑，置西海郡，祁连地区属西海郡辖。
唐朝、五代，为吐蕃属地，之后为吐蕃、西夏和宋王朝交替统治。
元代，置西宁、贵德两州及吐蕃朵甘思地。
明代，改西宁州为西宁卫，祁连地区为西宁卫属阿吉第十三族牧地，明末为西海蒙古麦力干所据。
清代，雍正二年（1724年），设大通卫，乾隆二十六年（1761年），改卫为县，祁连东部地区属大通县，余地隶于西宁办事大臣。
民国十七年（1929年），青海建省，祁连属门源县管辖。民国二十七年（1939年），由门源县析置祁连设治局。
1949年11月22日，祁连解放，暂由门源县代管。
1951年9月，将祁连设治局改为祁连区人民行政委员会，由省直辖。
1953年1月23日，成立祁连县人民政府，隶属海北藏族自治州。[9]
2001年3月5日，青海省政府青政函[2001]15号文批复：撤销多隆、默勒2乡，合并设立默勒镇；撤销峨堡乡，设立峨堡镇。
2006年8月，撤销柯柯里乡，并入野牛沟乡。调整后，全县辖3个镇、4个乡：八宝镇、峨堡镇、默勒镇、扎麻什乡、阿柔乡、野牛沟乡、央隆乡。
截至2023年6月，祁连县辖3个镇、4个乡：八宝镇、峨堡镇、默勒镇、阿柔乡、扎麻什乡、野牛沟乡、央隆乡。[16] 县人民政府驻八宝镇人民路。[30]
祁连县位于青海省东北、海北藏族自治州的西北部，地处祁连山中段。东以景阳岭与门源回族自治县接壤，南与刚察县、海晏县相连，西南与海西蒙古族藏族自治州的天峻县为邻，西北及北与甘肃省酒泉市、肃南裕固族自治县、民乐县、山丹县为界。地理坐标介于东经98°05′35″~101°02′06″，北纬37°25′16″~39°05′18″之间，南北宽约185千米，东西长约280千米。总面积13919.98平方千米。[22][32][39]