人民军队创建之初，部队并未建立政治委员制度，而是普遍采取党代表制度。1927年8月1日，首举武装斗争旗帜的南昌起义部队，在整编后仍然沿用国民革命军第二方面军的番号，沿袭大革命时期的政治工作制度，各军、师健全政治部，由同级党代表兼政治部主任或另任命政治部主任；团设政治指导员。
1927年9月，毛泽东领导发动了湘赣边界秋收起义，随后进行了著名的三湾改编。在部队各级建立共产党组织，支部建在连上，班、排建立小组，营、团建立党委，党的前敌委员会统一领导全军。实行新的党代表制度，由党组织的书记任同级党代表，负责党务工作、政治工作和群众工作，与军事长官共同管理和指挥部队。
1928年，红四军制定了《红军第四军党代表工作大纲》，明确规定了党代表的权力和职责，指出党代表是代表党在军队中工作，一切行动和言论均需站在党的观点上去施行党的主义政策。5月25日，中共中央颁布的《军事工作大纲》提出，“红军应由苏维埃派政治委员监督军官，并负责进行政治工作。政治委员应即为党的代表，最好由工农分子充任，能了解军事的更好。”同年6月，中共中央在致朱德、毛泽东并前委的信中指出，“在政治上设政治部，取消党代表，实行士兵的政治训练”。[3]
中国人民解放军的政治委员制度始于1929年古田会议，正是在这次会议上，毛泽东成功地对红军进行了深入的改革，建立了党对军队的绝对领导权，这是继三湾改编支部建在连上的重大改革后的又一次突破，其标志性成果就是在红四军建立了政治委员制度。例如红一方面军总司令朱德、总政委毛泽东和129师刘伯承师长、邓小平政委就是军事主官和政治主官的典范。解放军培养政治工作干部的最高学府是政治学院（已并入国防大学）。大会通过的《中国共产党红军第四军第九次代表大会决议案》，即古田会议决议，明确了政治委员的职责、作用，规定了政治委员与党内工作关系。为推行政治委员制，中革军委专门下发《军事工作报告讨论大纲》，对政治委员与党代表的区别、政治委员的作用与意义、政治委员的系统与成分等问题展开讨论。之后，各地红军将党代表改称为政治委员。自此，政治委员制度在红军部队中正式确立下来。[3]