明末文渊阁大学士、著名科学家徐光启在法华泾、肇嘉浜和蒲汇塘三水相汇之地附近建立农庄别业，从事农业实验和著书立说，并与意大利人、欧洲传教士利玛窦合作，开创了中西文化交流的先河。嗣后，徐氏家族世代汇居于此，遂称为徐家汇，区名由此而得。[6]
徐汇区境在唐、五代、宋时属华亭县。元至元二十八年（1291年），原华亭县高昌等5乡划为上海县，区境在高昌乡境内。
直至明、清时，徐汇区全境仍隶上海县。[5]
清宣统二年（1910年），施行城乡自治，划上海县为1城2镇12乡，区境分属上海城、法华乡、漕河泾乡。[5]
民国三年（1914年），法租界第三次扩张，今肇嘉浜路以北、华山路以东、陕西南路以西、长乐路以南地域划入法租界范围，其余地区分属北洋政府管辖的法华乡、漕河泾乡和法租界。[6]
民国十六年（1927年），南京国民政府设上海特别市，区境分属沪南区、法华区、漕河泾乡和法租界。[6]
抗日战争期间，华界先后属日伪上海市大道政府、督办上海市政公署和上海特别市政府管辖，分属南市区、沪西区，另有法租界。[6]
民国三十三年（1944年），属上海特别市管辖，分属第四区、第七区、第八区（原法租界）。[6]
抗日战争胜利后，区境属上海市第七区（常熟区）、第八区（徐家汇区）、第二十六区（龙华区）。[6]