尧时，衡山在荆州南境。舜时，属荒服。夏商未变，先后为三苗蛮族和扬越杂居之地。[15] 共6张 衡山县城
周安王十五年（前387年），属楚。
秦始皇二十四年（前223年），属秦。秦始皇二十六年（前221年），属长沙郡。
西汉高祖元年（前206年），复属楚。高祖五年（前202年），属长沙国湘南县地。
新始建国元年（9年），废长沙国，湘南县改属荆州填蛮郡。
东汉建武元年（25年），属荆州长沙郡湘南侯国。建安十三年（208年），为刘备所占。建安二十年（215年），湘江东西一带分别为孙权、刘备割据。建安二十四年（219年），为孙权所占。
三国吴大帝黄龙元年（229年），属吴。太平二年（257年），立衡阳郡兼置衡阳县（非今衡阳县）湘西县，辖今衡山县、南岳区及湘潭县涓水以东和株洲县湘江以西地区。
西晋惠帝永熙元年（290年），衡阳县更名衡山县，属荆州衡阳郡，辖区与原衡阳县同，县名自此启用。永嘉元年（307年）八月，改属湘州。
东晋义熙十三年（417年），复属荆州。
南北朝宋永初元年（420年），重属湘州衡阳郡。
隋开皇九年（589年），湘乡、湘西两县并入衡山县，属长沙郡。大业三年（607年），改衡州为衡山郡，属荆州，领衡阳、涞阴、湘潭、新宁四县。大业六年（610年），辖今衡山县、南岳区、湘乡县、双峰县全境，湘潭县、湘潭市区、株洲县、株洲市区湘江西部地区和望城县湘江以西的南部地区。
唐武德四年（621年），析出湘乡县。贞观元年（627年），属江南道长沙郡。神龙二年（706年），改属衡山郡，辖区与晋时同。开元二十一年（733年），属江南西道采访使。天宝元年（742年），衡山郡改名衡阳郡，衡山县属之。天宝八年（749年），湘江对岸原湘潭县部分地区划入。时衡山县辖今衡山、衡东、南岳区和安仁县部分山区。光化元年（898年），衡山为马殷所占。