秦始皇二十六年（前221年），统一中国，实行郡县制，以城邑之名命名为馀干县，隶属九江郡。
汉高祖五年（前202年），改九江郡为淮南国，下辖九江、庐江、衡山、豫章4郡，馀干属淮南王国豫章郡；高祖六年（前201年），改馀干为馀汗，仍属豫章郡。新朝始建国元年（9年），改豫章郡为九江郡，改馀汗名治干，属九江郡。东汉，恢复豫章郡，复名馀汗，仍属豫章郡；建安十五年（210年），孙权分豫章置鄱阳郡。馀汗改属鄱阳郡。
晋元康元年（291年），置江州，馀汗属江州鄱阳郡。
南朝宋，复名馀干，仍属江州鄱阳郡。南朝齐，隶属仍宋旧。南朝梁承圣二年（553年），改鄱阳郡为吴州，馀干改属吴州。南朝陈光大二年（568年），撤吴州，复鄱阳郡；太建十三年（581年），复改鄱阳郡为吴州。不久复为鄱阳郡，馀干先后属之。
隋开皇九年（589年），改鄱阳郡为饶州；大业三年（607年），复改鄱阳郡，馀干先后属之。
唐武德五年（622年），复改鄱阳郡为饶州，馀干属饶州；天宝元年（742年），改饶州为鄱阳郡；乾元元年，复改鄱阳郡为饶州，馀干先后属之。
南唐升元元年（937年），改饶州为永平军，馀干属永平军。
宋开宝八年（975年），改永平军为饶州，馀干属饶州。
元至元十四年（1277年），设置饶州路总管府，隶江浙行省；元贞二年（1296年），升馀干县为馀干州，属饶州路；至正二十一年（1361年），改饶州路为鄱阳府，隶江南行省，馀干属鄱阳府。
明洪武二年（1369年），改鄱阳府为饶州府；洪武四年（1371年），馀干州降为馀干县，属饶州府。
民国元年（1912年），废府及州，一律改县。民国三年（1914年），江西省划为豫章、浔阳、庐陵、赣南4道，馀干属浔阳道。民国十五年（1926年），废浔阳道，馀干县直属江西省政府。民国二十一年（1932年），江西省划为13个行政区，第四行政区驻鄱阳，馀干隶属江西省第四行政区。民国二十四年（1935年），江西省缩改为8个行政区，第六行政区驻上饶，馀干隶属第六行政区。