番禺之名源自广州市越秀区的“番山”和“禺山”。几千年前，越秀区一带还是一片汪洋，番山、禺山已浮出水面，随着珠江平原发育形成，两山成为平原上的自然山岗。公元前214年，秦始皇统一岭南，设置南海郡、桂林郡、象郡。首任南海郡尉任嚣来到珠江畔，番山、禺山映入眼帘。他认为此地“负山险，阻南海，东西数千里……可以立国”。任嚣决定将郡治设在此，依番山、禺山修“番禺城”，史称“任嚣城”，后人视为广州建城之始。[87]
秦以前，属百越之地，当时聚居在广东地区是被称为“南越”(百越的一种)的少数民族，包括壮族、畲族、黎族等。[88] [89]
秦始皇三十三年（公元前214年），秦统一岭南，并设立桂林、南海、象郡等三郡。其中南海郡跨粤东、粤中及粤北大部，下设番禺、博罗、四会、龙川四县，番禺建县自此始，时为南海郡郡治所在地。秦末，南海郡尉任嚣病危时召见龙川县令赵佗，谓番禺‘‘负山险阻南海”“可以立国”，并假托秦廷命令，委赵佗代理南海郡尉。[45] [46]
番禺设县至今2230多年，境域多次变动，先后析出增城、东官（东莞）、南海、从化、花县（花都）等，并由这些县再析出龙门、香山（中山）、新安（宝安）、顺德、三水、珠海、斗门等县市以及香港、澳门地区。[45]
汉高祖三年（公元前204年），赵佗自立为南越王，定都番禺。《史记·货殖列传》云：“番禺亦其一都会也”，是当时全国九大都会之一。[46] 汉武帝元鼎六年（公元前111年），平南越，将南越地重新划为9郡，番禺仍为南海郡治。
赤壁之战后，东吴孙权任命步骘为交州刺史。步骘东下番禺城考察，《水经注》对此记载说：“骘到南海，登高远望，睹巨海之浩茫，观原薮之殷阜，乃日‘斯诚海岛膏腴之地，宜为都邑’。汉建安二十二年（公元217年）迁州番禺，筑立城廓。”州治从广信迁到番禺后，平整番山北部，修复并扩建“佗城”。