1895年，甲午战争的失败和《马关条约》的签订使中华民族处于危难之中。为了兴学强国，洋务派大臣盛宣怀提出“自强首在储才，储才必先兴学”的主张和对旧式教育机构进行改革的建议。[7] 1896年，盛宣怀再次向清廷条陈自强大计，附奏《请设学堂片》，在上海筹款议建新式学堂，名曰“南洋公学”。1897年1月26日，奏折得到清廷御准，南洋公学正式创立，盛宣怀亲自担任公学督办，何嗣焜担任总理。[8] 南洋公学初建时分为四院：师范院、外院、中院和上院，与以后逐步设立的特班、政治班、商务班和东文学堂构成了完整的新式教育体系。[9] 南洋公学时期
南洋公学于1905年划归商部，改名为商部高等实业学堂；1906年改隶邮传部。1911年，辛亥革命爆发，学校改名为南洋大学堂；1912年中华民国成立后，划归交通部管理，遂更名为交通部上海工业专门学校。在这个过程中，唐文治校长增设铁路专科、电机专科、航海专科，学校就由培养商务实业人才转而为培养工程技术方面的人才。[10]
1920年8月，叶恭绰出任交通总长。同年12月，叶以“交通要政，亟需专材”为由，将交通部所属的上海工业专门学校、唐山工业专门学校、北京铁路管理学校和北京邮电学校合并，改名为交通大学，由叶恭绰兼任交通大学校长。1921年8月1日，本校正式改名为交通大学上海学校。[11][12]
1922年，三校又分立，上海学校改称交通部南洋大学。1926年，经淩鸿勋校长努力，由中华教育文化基金会支持，交通部南洋大学工业研究所成立，此为中国第一所工业研究机构，其下设物理、化学、机械、材料四部，翌年材料与机械两部合并，另设电机部。[13]
1928年11月，学校移归铁道部管辖，将设在上海、唐山、北平三处的交通大学各学院合并，统称铁道部交通大学，分上海本部、北平铁道管理学院和唐山土木工程学院，由铁道部长孙科兼任校长。1930年春，黎照寰校长将“工业研究所”扩充为“交通大学研究所”，设工业和经济两大研究部，分材料、设计、机械、电气、物理、化学、社会经济、实业经济、交通、管理、会计和统计共12个研究组。从1931年起正式招收研究生。[14]