1977年9月，经国务院批准，中国科学院在北京筹建全国第一个研究生院——中国科学技术大学研究生院（1982年5月开始同时使用中国科学院研究生院的名称，与中国科学技术大学研究生院一个实体两块牌子），并于1978年3月1日正式成立。1986年10月中国科学技术大学研究生院（合肥）成立。2000年12月29日经批准，以中国科学技术大学研究生院（北京）为基础更名组建新的中国科学院研究生院。中国社会科学院1978年10月11日经批准成立研究生院，也是中国建立最早的研究生院之一。
1984年8月，经国务院批准，原教育部正式发出了《关于在北京大学等二十二所高等院校试办研究生院的通知》，同时印发了《关于在部分全国重点高等院校试办研究生院的几点意见》。
1984年8月，经教育部批准22所全国重点高等院校试办研究生院：
1986年4月，经教育部批准10所高校试办研究生院：
2000年6月，教育部批准了22所高校试办研究生院：