1951年7月10日，中国农业银行的前身——农业合作银行建立，隶属中国人民银行领导，承担金融服务新中国农村经济社会恢复与发展的职责[110] ，其是在新中国时期成立的第一家专业银行，也是新中国成立的第一家国有商业银行[111] ，其具体任务是按照国家计划办理农业的财政拨款和一年以上的农业长期贷款，扶持农村信用合作的发展[110] ；1952年7月，与中国人民银行合并，职能并入人民银行。[109]
1955年3月，按照为农业合作化提供信贷支持的要求，正式以“中国农业银行”名称建立；1957年4月，与中国人民银行再次合并。[109] 1963年11月，根据统一管理国家支援农业资金的要求，中国农业银行再次建立，作为国务院直属机构；1965年11月，与中国人民银行第三次合并。[109] 农业银行第一次成立时的办公场所——北京市西城区西交民巷27号
1979年2月23日，国务院发出《关于恢复中国农业银行的通知》[13] [14] ，中国农业银行恢复成立，总部设在北京。[11] [12] 其主要任务是，统一管理支农资金，集中办理农村信贷，领导农村信用合作社，发展农村金融事业。[110]
中国农业银行第四次恢复成立时，第一届领导班子在总行大门前合影
1984年6月1日，农业银行引进首笔世界银行贷款。[15] [109] 1985年6月24日，中国农业银行首次统一行名字体[109] ；6月25日，中央决定成立中国农业银行党委。[16] [17]
1993年12月，国务院作出了《关于金融体制改革的决定》，要求通过改革逐步建立在中国人民银行统一监督和管理下，中国农业发展银行、中国农业银行和农村合作金融组织密切配合、协调发展的农村金融体系。按照中国人民银行的安排部署，1994年4月，中国农业发展银行从中国农业银行分设成立，粮棉油收购资金供应与管理等政策性业务与农业银行分离[110] ；同时，中国农业银行向新组建的中国农业发展银行划转了绝大部分政策性业务。[109]