《元和郡县图志》记载，绵州置于隋开皇五年(公元585年)，“因绵水为名也”。[235] 2000年新版《绵阳市志》载，“绵阳因地处绵山之南，民国2年(1913)依照‘山南水北’为‘阳’的古义，命名为绵阳。”[235]
绵阳市是中国早期人类活动地区之一，边堆山遗址出土有4500年前新石器时代的石器和陶器。
高祖二年（前201年），置涪县始。
高祖六年（前197年）建置广汉郡。
元封五年（前106年），广汉郡由乘乡（今广汉市境内）迁到梓潼县。
新莽
孺子婴初始元年（8年），王莽篡汉建立新朝，改涪县为统睦县，寓统一和睦之意，故得名，属就都郡。
东汉
建武十三年（37年），灭成家，复置涪县，属广汉郡。
元初二年（115年），益州刺史部和广汉郡均迁至涪县，元初三年（116年），州、郡皆迁出市境。
东汉末年，刘备据蜀，于建安二十二年（217年），分广汉郡北部地区设梓潼郡（治梓潼县）。
建兴三年（225年），分广汉郡东部地区设东广汉郡（治今三台县境）。自此后，市境相沿各代均有州、郡、府等县以上政区建置。
魏晋南北朝
三百余年间，战争频繁，政区建置变化较大。
西魏改涪县为巴中县，置潼州，治巴中县（今四川绵阳市东）。
政区建置逐渐稳定。
开皇元年（581年），改巴中县为巴西县。