芜湖历史悠久，故地名鸠兹，在今市东南约20千米的水阳江南岸。鸠兹地名最早见于 《左传·襄公三年》（前570年）：“春，楚子重伐吴，克鸠兹。”鸠兹在春秋时属吴。战国时，周元王三年（前473年），越灭吴，鸠兹属越。约周赧王九年（前306年）楚灭越，鸠兹属楚。秦时，鸠兹属鄣郡。西汉时，汉武帝刘彻元封二年（前109年），改鄣郡为丹阳郡，领县十七，芜湖县为其中之一。县治虽仍在鸠兹，但已易名芜湖。关于芜湖置县的最早的文字记载，见于《汉书·地理志》。三国时，吴大帝孙权黄武二年（223年），芜湖县治由鸠兹迁至市区东南青弋江北岸鸡毛山一带的高地上，仍属丹阳郡，并由此发展，成为芜湖最老的城区，鸠兹旧治自此再未复用。
西晋时，晋武帝太康二年（281年），分丹阳郡置宣城郡（治宛陵），移丹阳郡治于建业（今南京）。芜湖仍属丹阳郡。东晋时，为安置中原南渡的百姓，在沿江一带侨置郡州县。成帝咸和四年（329年），芜湖县属丹阳郡，侨立豫州于芜湖；哀帝兴宁元年（363年），芜湖属宣城郡（郡址移驻芜湖）；孝武帝宁康二年（374年），芜湖仍属宣城郡，并侨立上党郡。孝武帝太元年间（376年—396年），侨置襄垣、定陵、逡遒等县，均属上党郡；安帝义熙九年（413年），宣城郡回驻宛陵，降上党郡为县，省阳谷（今繁昌）入芜湖县，后又省芜湖县入襄垣县。自此芜湖县置被撤销，襄垣、上党两县均属淮南侨郡。东晋咸和初年侨置淮南郡于丹阳郡的于湖（今当涂县南19千米处）。南北朝时，刘宋文帝元嘉九年（432年），并上党县入襄垣县，属淮南郡；孝武帝大明六年（462年），并淮南郡入宣城郡（郡址移驻于湖），襄垣县属宣城郡。大明八年（464年），复立淮南郡属南豫州，襄垣属之。明帝泰始三年（467年），属扬州淮南郡。