中国共产党的武装力量成立于1927年8月1日，但是在1927年5月，中共中央军事部（中共当时负责国民革命军中军事工作的部门）即在中共中央军事部下设立了参谋科，由聂荣臻任参谋科科长，这是中共军队总参谋部的雏形。时任中共中央军事部部长、中共中央军委书记为周恩来，此后机构撤销。1928年，中共六大后，再次筹建中央军事部，下辖参谋科。1930年，中共中央军事委员会颁布了《中国工农红军编制草案》，根据这个文件的规定，中央军委设立了参谋部，由刘伯承任参谋长，下设作战、交通、谍报、训练、工农武装五个科。1931年11月，正式设立中华苏维埃共和国中央军事委员会总参谋部，其首长称为总参谋部部长，叶剑英出任此职。1932年将总参谋部部长改称总参谋长，由叶剑英、张云逸分别担任正副职位，下设第一局、第二局、第三局、第四局和军委通讯处。1933年5月，总参谋部正式改名为中国工农红军总参谋部，叶剑英任总参谋长。1934年改选刘伯承担任总参谋长，叶剑英、张云逸任副总参谋长；不久，因红军作战问题上，刘伯承与李德、博古发生冲突被免职，实际由叶剑英负责。遵义会议后，刘伯承再次出任中国工农红军总参谋长。1936年，红军进入陕北并进行再次调整，刘伯承任总参谋长，叶剑英、张云逸任副总参谋长。 徐向前任新中国首任解放军总参谋长
1937年8月22日，洛川会议后，中共中央成立革命军事委员会，毛泽东任主席；随后成立军委总参谋部，萧劲光任总参谋长，聂鹤亭任参谋部部长，此后陈奇涵、许光达继任，总参谋部下设四局，分由郭天民、曾希圣、王诤、江华（后郭化若）担任局长。同年8月25日，中国工农红军改编为国民革命军第八路军，叶剑英任参谋长，左权任副参谋长，彭雪枫任参谋处长。次年，因萧劲光担任八路军后方留守处主任、陕甘宁留守兵团司令员，总参谋长一职由滕代远接任；1940年改由王若飞担任。1941年，叶剑英回到陕北，随后担任军委总参谋长兼第18集团军参谋长。1945年，中共七大上，中央军委副主席彭德怀兼任总参谋长。国共内战爆发后，胡宗南率部进攻陕北，彭德怀调任西北野战军司令员兼政委，总参谋长一职由中央军委副主席周恩来代任。1947年6月，中国人民解放军总部成立，总参谋部依然为军委总参谋部。叶剑英任军委副总长兼中国人民解放军总参谋长。[1]
1949年10月1日，中华人民共和国成立，同时成立中央人民政府人民革命军事委员会，华北军区第一副司令员徐向前任总参谋长，华北军区司令员聂荣臻任副总参谋长，此时总参谋部称人民革命军事委员会总参谋部。1950年，徐向前因生病，总参谋长一职由聂荣臻代理。次年10月，人民革命军事委员会调第三野战军副司令员兼华东军区副司令员粟裕任副总参谋长；1952年10月，又调湖南省委书记黄克诚、第一野战军副司令员张宗逊担任副总参谋长，此时总参谋部下设作战部、军事训练部、情报部、技术部、联络部、通信部、人民武装部、民用航空局、气象局和军事运输司令部。同年年底，召开第一次参谋长联席会议，确定中国人民解放军建设方针。1953年2月，李克农担任副总参谋长。 徐向前元帅