西汉神爵二年（前60年），汉朝政府设西域都护府护卫和管理西域各国。期间，阜康地区属卑陆国和卑陆后国。
唐贞观十四年（640年），唐朝政府于设庭州，管理天山以北地区，阜康属庭州。唐代，特别是在丝绸之路新北道开通以后，阜康地区的经济社会得到较快发展。期间，在阜康境内，沿丝绸之路从东到西建有阿克木那拉、土墩子、五米土堆烽火台及耶勒守促城、俱六守捉城、唐王城等，呈现出路、台、城与都督府同在的景象。
宋、元、明时期，西域各国展开激烈的争斗、兼并。 共5张 阜康
清乾隆二十一年（1756年）平定准噶尔叛乱，乾隆二十四年（1759年）平定南疆大小和卓叛乱后，重新统一西域，改西域为新疆，并在天山北麓设州、县。清政府还采取大规模屯田措施保障军需和发展经济。阜康地区时称特纳格尔，是重要的屯垦地之一。乾隆二十三年（1758年），清政府在阜康设立军屯，留兵在阜康屯田。5年后，又将驻防乌鲁木齐的携眷兵522户1796人派往阜康屯田，此后阜康屯田兵保持在600名左右，开垦农田0.08万公顷左右。乾隆三十年（1765年），清政府开始在阜康兴办民屯。乾隆二十五年（1760年），建特纳格尔土城，由屯垦兵驻守。乾隆三十三年（1768年），设特纳格尔县丞，乾隆三十八年（1773年），改县丞为特纳格尔州判。乾隆四十一年（1776年），设阜康县，隶迪化直隶州。时县境包括今阜康市、吉木萨尔县两县全境，有28个村庄。光绪十年（1884年），阜康隶镇迪道管辖。光绪二十八年（1902年），吉木萨尔从阜康县分出，设孚远县，阜康县域缩小。
中华民国时期，阜康属迪化道，隶迪化行政长公署管辖。
新疆和平解放后，1950年3月成立阜康县人民政府，隶属迪化专员公署。
1958年5月，乌鲁木齐专区撤销，阜康县划归昌吉回族自治州管辖。
1992年11月，阜康市撤县设市，仍隶属昌吉回族自治州。[3]
截至2022年10月，阜康市下辖3个街道、4个镇、3个乡，另设有3个农场[19] 。阜康市人民政府驻博峰街道。[4]