唐代禁卫军分为南、北两衙，左右千牛卫是南衙卫兵。南衙卫兵就是“十六卫”，是国家军队。唐朝实行“府兵制”，在“南衙十六卫”中，除左右千牛卫和左右监门卫不领府兵、只负责警卫外，前“十二卫”都遥领全国府兵。
北衙禁军由“北门屯营”逐渐发展为“北衙六军”等，其中最为有名的一支就是“羽林军”。北衙禁军是皇帝私人军队，是“募兵”，由皇帝亲信指挥。
南北衙禁卫军共同卫戍皇宫和京师，并相互牵制。但盛唐之后，“南衙府兵”逐渐衰败，“北衙禁军”逐渐成为中央政权直接依靠。 检校千牛卫大将军李元芳
《庄子·养生主》说：（庖丁）所解数千牛矣，而刀刃若新发于硎。
于是，有一种帝王随身携带的防身御刀，叫作“千牛刀”，名字就是典出《庄子》，寓意“锐利可斩千牛”。
关于“千牛刀”出现的记载，较早可见于南朝刘宋。萧子显（萧道成的孙子，约公元489至537年）《南齐书》：“玉夫（杨玉夫）与其党陈奉伯等二十五人同谋，于毡屋中取千牛刀杀苍梧王（南朝宋“后废帝”刘昱）”。说的是一场著名的宫廷政变：南朝宋元徽五年（公元477年）七月七日半夜，杨玉夫和杨万年潜入仁寿殿，乘刘昱熟睡如泥时，用皇帝刘昱自己的千牛刀杀掉了皇帝。
北朝北魏的时候，出现了一种高级禁卫武官，他们除了负责皇帝的安全，还掌执御刀“千牛刀”，这种禁卫武官就是——“千牛备身”。
最初“千牛备身”出现的时候，似乎并没有一个专门的机构来统领这些武官。后来，北魏孝明帝中期出了“领左右”，很可能就统领着“千牛备身”。再往后，历朝历代统领“千牛备身”的机构名称不断变化，在唐高宗显庆五年（公元660年）称“左右千牛府”，到了唐中宗神龙元年（公元705年），改为“左右千牛卫”。
这样看来，“千牛卫”，正是因为它统领着禁卫武官“千牛备身”而得名。
“千牛备身”最迟出现于北魏宣武帝初年，与“武卫将军”同为皇帝亲信，宣武帝“置之左右”、“出人禁中，无所拘忌”。在机构上，可能与“直阁将军”同隶属于“领军将军”。
到了北魏孝明帝中期，领军将军元叉擅政，设“领左右”。从东魏北齐制度推断，在领左右出现以后，领左右与千牛备身可能是上下级关系，即千牛备身隶属于领左右。
北魏末期的领左右及千牛备身可能还未完全制度化，在有关的职官法令中尚未作明确的规定。尽管如此，北魏末年的领左右与千牛备身制度仍然对后代产生了重要影响，东魏北齐及隋朝皆继承了这一制度，并根据新的形势而加以调整。