新石器时代早期，今上饶市万年县仙人洞就有人类的生产活动；今余干县华林岗小石山的洞窟里，曾刻有尧舜时期记录治水的古篆文[2] 。
今上饶市辖境古属扬州，最早为周之番邑，属楚东境。周敬王十六年（前504年），吴伐楚取番，属吴。周元王三年（前473年），越灭吴，属越。周显王三十六年（前333年），楚灭越，复属楚[2] 。
秦代（前221年—前207年），秦统一六国，设三十六郡，今上饶市辖境主要属九江郡（今玉山县、铅山县部分属会稽郡，婺源县属鄣郡）；在今上饶市辖境内设番县、馀汗县，是为建立县级行政建制之始。
西汉年间（前202年—8年），今上饶市境主要属豫章郡（今玉山县、铅山县归属同秦，今婺源县属丹阳郡）。东汉建安十五年（210年），析豫章郡，设鄱阳郡，始创境内郡级行政建制。
三国时期（220年—280年），鄱阳郡属吴。
南朝梁承圣二年（553年），改鄱阳郡为吴州，时市境主要属吴州，次属金华郡、新安郡、建安郡。南朝陈光大二年（568年），复吴州为鄱阳郡。
隋开皇九年（589年），改鄱阳郡为饶州，改新安郡为歙州。隋大业三年（607年），复饶州为鄱阳郡，复婺州为金华郡，复歙州为新安郡。
唐贞观元年（627年），分天下为十道，今上饶市境属江南道。唐乾元元年（758年），始设信州，其时市境主属饶州、信州，其次分属歙州、抚州，均属江南西道。
五代十国时期（907年—979年），今上饶市境仍分属饶州、信州、歙州、抚州；整体初属杨吴，后属南唐。南唐升元元年（937年），改饶州为永平军[48] 。
北宋开宝八年（975年），复永平军为饶州；今上饶市境分属饶州、信州、歙州，均隶江南东路。北宋宣和三年（1121年），改歙州为徽州。