江山历史悠久。自夏、商、周到春秋早期，江山属扬州於越之地。[20]
春秋晚期，为越国西鄙姑蔑之地；楚威王六年（前334年），楚灭越，属楚国。
秦统一中国，建立郡县。始皇政二十五年（前222年），于姑蔑地置太（音：达）末县，江山属会稽郡太末县。
西汉沿用秦制。东汉初平三年（192年），析太末县西境置新安县，属会稽郡新安县。
三国吴宝鼎元年（266年），划会稽郡西部置东阳郡，属东阳郡新安县。
晋太康元年（280年），以弘农郡（河南）有新安县，遂改新安为信安。南朝陈天嘉三年（562年），东阳郡易名金华郡，属金华郡信安县。
隋开皇九年（589年），金华郡改称婺州，属婺州信安县；大业三年（607年），复婺州为东阳郡，属东阳郡信安县。
唐代废郡置州。武德四年（621年），置衢州，分信安县地置须江县，“以县南有江郎山，北有须女泉故名”（明·天启《江山县志》），隶属越州总管府衢州，为江山建县之始。此后，衢州几度废复改易，须江县亦随之改属：武德六年（623年）（《旧唐书》作武德八年），废衢州，须江县并入信安县，属婺州；垂拱二年（686年），复置衢州，属衢州信安县；永昌元年（689年），析信安县复置须江县，属衢州；天宝元年（742年），改衢州为信安郡，须江县隶属信安郡；乾元元年（758年），复为衢州，须江县又属衢州。[20]
五代吴越宝正六年（931年），吴越王钱镠，因境南有江郎山，改须江县为江山县，仍属衢州。
北宋沿用旧制。南宋咸淳三年（1267年），江山县改名为礼贤县，仍属衢州，县治徙礼贤。