程咬金是济州东阿县人，为程昱之后，[37] 少时即骁勇善战，善于使用马槊。[2] 隋大业六年（610年）起，盗贼蜂起，程咬金组织了一支数百人的武装，护卫乡里。后来归附李密，得到重用，为内军骠骑之一。当时李密在军中挑选出勇烈之士八千人，隶属四骠骑，分为左右，号称内军。李密常对人说：“这八千人抵得上百万大军。”程咬金管领四骠骑之一，所受恩遇特别隆厚。[3]
王世充与李密决战时，程咬金率领内骑扎营于北邙山上，单雄信率领外骑扎营于偃师城北。王世充袭击单雄信营垒，李密派程咬金与裴行俨前去救援，裴行俨被流箭射中，坠落马下。程咬金驰马救援，连杀数人，趁王世充军后退之机，抱起裴行俨，二人同骑一马回奔。追兵用槊刺击，程咬金身体被刺穿，程咬金回身折断其槊，斩杀追兵，二人方免于此难。后来李密失败，程咬金为王世充所俘虏，王世充任命其为将军，待之甚厚。[4]
唐武德二年（619年），王世充进攻故州，任命秦琼为龙骧将军，程咬金为将军，厚待二人。然而程咬金和秦琼厌恶王世充为人狡诈，程咬金对秦琼说：“王公才识风度浅薄狭隘，却爱乱说，喜欢赌咒发誓，这不过是老巫婆，哪里是拨乱反正的君主！”等到王世充在九曲与唐军交战，秦叔宝、程咬金都带兵在阵上，骑着马向西跑了一百来步，然后下马向王世充行礼，说道：“我等身受您的特别优待，总想报恩效力，但您性情猜忌，爱信谗言，不是我等托身之处，如今不能再侍奉您，请求从此分别。”于是跳上马与他们的几十名部下共同降唐，王世充害怕唐军，不敢追击。[5] [6] 李渊让他们跟随秦王李世民，李世民早已听说他们的名声，十分尊重他们，任命秦叔宝为马军总管，程咬金为左三统军。此后，程咬金先后击败宋金刚、窦建德、王世充，并领左一马军总管，每逢出征，常常举旗先登，因屡建战功被封为宿国公。[7]
武德七年（624年），太子李建成忌惮程咬金，因而向李渊进谗言，于是李渊派遣程咬金出任康州刺史。程咬金告知李世民说：“大王被剪除左膀右臂，必定不能保全自己。我有死而已，希望您能快些自保！”[8]
武德九年（626年），李世民发动玄武门之变，程咬金亦参与其中。玄武门之变后，程咬金官拜太子右卫率，随后又迁升为右武卫大将军，享受实封七百户。[9]