光绪八年（1882年）11月6日，冯玉祥出生于直隶青县兴济镇北街（现为河北省沧县兴济镇），后寄籍河北保定（现为河北省保定市）。[2] 祖籍安徽巢湖（现为安徽省合肥市巢湖市），自幼在直隶保定（现为河北省保定市）长大。光绪二十二年（1896年），冯玉祥刚满15岁，正式入保定五营当兵。[3] 他在父亲冯有茂的指点和管教下，开始“向读书和修养方面努力”。不久，冯有茂因病被裁。冯玉祥为了挣钱养家，愈发刻苦操练、学习，开始阅读《操法》《阵法》等兵书。他看到淮军暮气沉沉，便于光绪二十八年（1902年）2月20日离开淮军，改投袁世凯的武卫右军第三营左队右哨六棚。[1]
光绪二十九年（1903年）4月，冯玉祥升为四棚正目。12月中旬，又被提升为第二营右哨哨长。光绪三十一年（1905年）武卫右军改为第六镇，冯玉祥任司务长，随后又升为本连排长，深得协统陆建章和标统王化东的器重。不久，冯玉祥成为陆建章的内侄女婿，得到了陆的提拔和帮助。宣统二年（1910年），冯玉祥被任命为陆军第20镇（师）第80标第三营管带（营长）。 1904年的冯玉祥
宣统三年（1911年）武昌起义爆发后，冯玉祥参与发动滦州起义，失败后被革职法办，递解河北保定。第79标官兵起义后，于民国元年（1912年）1月3日成立了北方革命军政府，冯玉祥为总参谋长，王金铭为大都督，正式宣布独立。不久，起义军因张建功叛变，损失严重，王金铭、施从云遭通永镇总兵王怀庆伏兵杀害。冯玉祥得陆建章搭救，幸免于死。[1] 袁世凯编练备补军时，陆建章任左路备补军统领，任命冯玉祥为前营营长。民国二年（1913年）8月，左路备补军改编为“京卫军”，冯玉祥升任第一团团长。[1] 民国三年（1914年）7月，冯玉祥任陆军第7师第14旅旅长，率部在河南、陕西一带参加镇压白朗起义军。9月任陆军第16混成旅旅长。