商周时期，肥西为“淮夷”之地。西周时，县境北边有“虎方”，南面有“群舒”部落，西边有“六”国。
春秋时期，肥西为吴、楚交争。战国时属楚国。
秦代，分天下为三十六郡，肥西属九江郡。
汉初，肥西先后属英布的九江王国，刘长、刘安的淮南王国。公元前122年（武帝元狩元年），分天下为十三州 ，淮河以南属扬州；淮南王国废，设九江郡；郡下设县，肥西东南部属合肥县、西北部属成德县。东汉，肥西分属合肥侯国和成德县。
三国时，合肥、成德二县属魏国淮南郡，曹魏扬州刺史驻合肥。
西晋，合肥、成德县皆属扬州淮南郡。东晋，成德县废，其地分入寿县、合肥县，肥西全属合肥县。
南北朝时，江淮间为南北政权反复争占，归属屡变，但肥西主要属南朝。宋，合肥侨置南汝阴郡及汝阴县，隶于南豫州。齐，合肥仍宋制。梁初，合肥为北魏所占。梁天监五年（506年），合肥归梁，先后置豫州、南豫州，郡县仍宋、齐制。梁太清元年（547年），南豫州迁寿阳，改合肥为合州，辖合肥至江北之地。太清三年，合州为东魏所占。陈宣帝太建五年（573年），合州入陈。郡县仍旧。后废汝阴郡，汝阴县属合州北陈郡。太建十一年（579年），合州为北周所占。
隋代，改合州为庐州，“庐州“之名，是由汉、晋时“庐江郡”而来。北陈郡及汝阴县皆废，恢复合肥县，属庐州。大业三年，改庐州为庐江郡。
唐初，改庐江郡为庐州；贞观元年（627年），全国分十道，庐州属淮南道。天宝元年（742年），又改庐州为庐江郡。乾元初年（758年），复改郡为州。合肥县属之。
五代十国时期，合肥先后属吴、南唐、后周。
宋代，庐州隶淮南道，后改为淮南路。熙宁五年（1072年），淮南路分东、西两路，庐州属淮南西路，隶于保信军节度使。肥西有段寨、山南、新仓三镇。南宋时，淮西制置使驻庐州，合肥县属之。