“教务长”（Provost）一词来自拉丁文praepositus，最先在英国牛津大学开始使用，而较早开始使用的哥伦比亚大学和宾夕法尼亚大学，可以追溯到18世纪末期和19世纪早期。1811年，哥伦比亚大学创立了教务长办公室，但5年后又取消了。直到1912年又恢复。宾夕法尼亚大学校董会在1930年代创设了一个教务长办公室，独立于校长之外，被确立为首席学术长官。
大多数美国和加拿大高校开始设立教务长制度，都是在二战期间和二战之后。这与当时及其之后的本科生大规模扩招，特别是退伍兵进入高校有密切关系。当时的高等教育管理出现了前所未有的复杂性，因此很多高校对管理体制予以了改革。到上世纪60年代，大部分常青藤盟校（Ivy League）已经都设立了教务长制度，其他私立的研究型大学如芝加哥大学、斯坦福大学、麻省理工学院也都相继设立了“教务长”。哈佛大学的“教务长”经过了长期的历史演变之后，该职位是校长之下的第二号学术长官，管理整个大学，其主要职责为负责全校范围的学术交流。