府兵制的形成大致分为三个阶段：第一阶段，西魏大统八年到恭帝三年（556年），主要把乡兵和增募豪右纳入六柱国统领系统之内，构成一个新的军事体系，即宇文泰当政时期；第二阶段，北周明帝元年（557）到建德元年（572年），主要是乡兵经过初步整顿，二十四军确立和巩固，即宇文护专政时期；第三阶段，建德元年（572年）到大象二年（580年），主要是进一步扩充府兵，府兵担任侍卫及制度化，主要是北周武帝掌政时期。[1]
北魏的“府户”，可说是府兵的前身。“府户”组成分子，有为中原汉人强宗子弟，有为鲜卑高门子弟，任务在防戍边镇，而事业无异世袭。世袭为镇兵根本原则，而镇兵破坏亦源于此。《魏书·广阳王深传》：“丰沛旧门，仍防边戍。自非得罪，当时莫肯与之为伍，征镇驱使但为虞候白直，一主推迁，不过军主。然其往世房分留居京者，得上品通官，在镇者便为清途所隔，多逃胡乡。乃竣边兵之格，镇人浮游在外者，皆听流兵捉之，少年不得从师，长者不得游宦。”这是广阳王述北魏镇叛乱的原因。镇兵破坏，自然免不了掺杂其他因素，然而府户世执兵役没有机会升迁恐怕是北镇将卒离心的主因。不过府户世执兵役，为的要使镇兵土著，当日北方各镇，地广人稀，北人只乐南徙，便不得不简选亲戚，配以高门子弟，作一种劝奖。有时还征发中原强宗子弟作镇，自然也希望他们成为土著百姓。还有一个原因：像《广阳王深传》提到“皇始以移防为重”一事，移防虽有流动性质，然而移防之后，仍旧希望防守者成为土著，使国家没有外寇危险，又没有供给烦劳。作镇可说是变相的屯田，但比屯田为有组织；或防或移，也比较活动。
镇兵制度破坏，便改置州县。州县理民，在战乱时期军事调度诸多不便，于是府兵制度发生。最初太祖平中山，多设军府，性质如何，已不可考。专从府统于军的制度立论，当日的府应即后日府兵的起源，此点只能志疑，仍待例证。至于西魏府兵制度，正是救镇制度之穷。