新疆生产建设兵团第二师前身是山东渤海军区教导旅。
1946年8月底，中国人民解放军三五九旅返回陕甘宁解放区，准备筹建渤海军区教导旅。
1947年2月25日，组建渤海军区教导旅。同年11月部队归入西北野战军建制，改称中国人民解放军西北野战军第二纵队独立第六旅。
1949年2月，中央军委将独立第六旅统编为中国人民解放军第一野战军二军步兵第六师。
1949年9月，大军陈兵嘉峪关，促使新疆和平起义。10月10日，步兵第六师由甘肃张掖出发，进抵酒泉、玉门、敦煌一线集结待命。不久王震命令师长张仲瀚迅速组成一支先遣队，于11月4日抵达新疆南北疆分界处的天山咽喉焉耆、 库尔勒地区进行踏勘布点。
1953年2月，步兵第六师集体就地转业，执行农垦任务。同年6月5日，新疆军区转发中央军委命令，步兵第六师改称中国人民解放军新疆军区农业建设第二师，所辖十六团、十七团、十八团依次更名为农业建设第四团、第五团、第六团。师部驻焉耆。
1954年10月，新疆军区生产建设兵团成立后，第二师归属兵团建制，成为少数几个比兵团成立还早的师。
1960年9月，师部移驻库尔勒。
1975年3月，兵团建制撤销，5月第二师并入巴州，组建农垦局，归巴州领导。
1981年12 月，中央恢复兵团体制。
1982年4月1日，农垦局撤销，恢复了第二师的番号。
2012年12月13日，新疆生产建设兵团农业建设第二师更名为新疆生产建设兵团第二师。[6]
2012年12月17日，经国务院批复同意，设立新疆直辖县级铁门关市，与新疆生产建设兵团第二师实行“师市合一”管理模式。市人民政府驻铁门关市兴疆路1号。同年12月29日，铁门关市挂牌成立。[5]
2016年1月9日，自治区人民政府同意设立铁门关市博古其镇、双丰镇，镇政府分别驻28团、30团团部。[7]
2020年4月30日上午11时30分，第二师铁门关市南屯镇、河畔镇、高桥镇、天湖镇、开泽镇、米兰镇、金山镇揭牌仪式分别在38团、22团、24团、27团、223团、36团、37团同步举行，标志着二师铁门关市“师市合一”“团镇合一”管理体制建设迈出重要步伐，师市深化改革取得新进展。目前，加上博古其镇、双丰镇，铁门关市已形成下辖九镇的城市发展框架。[8]
新疆生产建设兵团第二师下辖14个团场：21团、22团、24团、25团、27团、29团、30团、31团、33团、34团、36团、37团、38团、223团，师部驻铁门关市兴疆路1号。[2] [5]