因区内有南山而得名。清道光《广东通志》记载：“南山，在城南七里，高七十丈，周五里，秀拱如屏，海滨上有双石塔、观音寺，有石似人形，乡人多祈雨于此。”[85]
先秦时期，今南山地域为百越地。
秦代，属南海郡番禺县。
汉代初，属南越国南武郡番禺县，武帝时期，属南海郡博罗县。
三国到西晋，属博罗县，上隶南海郡。
东晋咸和六年（331年），从南海郡析置东官郡，领宝安、兴宁等6县，东官郡治、宝安县治均设在南山地域的南头城。南朝时期，南山地域属宝安县，上隶东官郡（东莞郡）。
隋代，属宝安县，初隶广州总管府，后隶南海郡。
唐至德二年（757年），宝安县治由南头移到涌（今东莞莞城），后宝安县更名为东莞县，南山地域改属东莞县，上隶广州都督府。
五代后梁时期，属东莞县，上隶南汉国兴王府。
宋开宝五年（972年），属增城县，上隶广州中都府。翌年，恢复东莞县，属东莞县，上隶广州中都府。
元代，南山地域属东莞县，上隶广州路。
明万历元年（1573年），由东莞县析置新安县，县治设在南山地域南头古城。南山地域属新安县，上隶广州府。
清康熙五年（1666年）至康熙七年（1668年），因朝廷令东南沿海居民内迁50里（后增至80里），地处沿海的新安县被迁界而裁撤并入东莞县。南山地域属东莞县，上隶广州府。康熙八年（1669年），取消迁界令，新安县建置恢复。
民国元年（1912年），南山地域属新安县，上隶广东省。民国三年（1914年）1月，新安县因与河南省新安县同名，更名为宝安县，南山地域属宝安县，上隶广东省。此后，上隶行政区多变，先后隶粤海道、广东省、广州行政委员公署、中区善后管理委员会、中区绥靖公署，第一区、第四区、第二区行政督察专员公署。