玄武区管辖范围上溯，战国时区境为金陵邑辖地。 玄武区
秦、汉时，今区境南部属秣陵县，北部属江乘县，先后隶属会稽郡、鄣郡、丹阳郡。
东汉建安十七年（212年），孙权改秣陵为建业县，区境南部属之，同时废江乘县改设典农都尉（相当于县一级的民屯政区），区境北部属之，均隶属丹阳郡。
西晋太康元年（280年），复改建业为秣陵县。太康二年（281年）（一说为太康三年）分秣陵秦淮河以北置建业（次年又改称建邺），南为秣陵县（见《建康实录》、《晋书·地理志》）。建兴元年（313年），改建邺为建康，区境为建康和江乘辖地，直至陈朝末年。
隋朝统一南北后，将建康、秣陵、江乘等县及侨置郡县并为江宁一县。此时，区境属江宁县，隶属蒋州。
唐上元二年（761年），改江宁为上元县，至清末区境均属上元县。
民国元年（1912年），临时政府废上元、江宁二县，置南京府，区境属南京府。民国二年（1913年），撤南京府，以旧上元、江宁二县复置江宁县，区境属江宁县。民国十六年（1927年），改江宁县城区为南京市，区境属南京市。
民国二十年（1931年）3月，实行京市自治，全市划分为21个自治区，分区筹办，但进展迟缓。后重新划分为8个行政区，今玄武区为第一区，设区公所。区界以中山路以东，中山门以西，九华山以南，中山东路以北为区域范围。面积8.85平方千米。
民国二十二年（1933）3月，南京城区区划格局基本奠定，划分为8个行政区划单位，为区级建置之始。当时，玄武区为第一区，区公所设廊背后4号。汪伪时期，玄武区分属第三区时，区公所设珠江路。分为12坊：丹凤坊、吉兆坊、碑亭坊、汇文坊、光华坊、大光坊、御史坊、复成坊、英威坊、太平坊、如意坊、珠江坊。坊以下设保甲，共125保，1386甲。