霍去病出生于西汉建元元年（前140年），是平阳侯府的女奴卫少儿与平阳县小吏霍仲孺的私生子。霍仲孺当差期满，回到平阳县，与在长安平阳公主府的卫少儿失去联系。因此，霍去病一直不知道自己的父亲是谁，直到成为骠骑将军后，才与父亲相认。[44] 赏识、提拔霍去病的汉武帝刘彻
建元二年（前139年），卫少儿的妹妹卫子夫得幸汉武帝刘彻。[1] 一年多后（建元三年至建元四年，约前138-137年），卫子夫全家贵幸[2] 。卫少儿曾经与曲逆侯陈平的曾孙陈掌私通[3] ，从而与陈掌结婚。元朔元年（前128年），卫子夫被立为皇后。霍去病因此在年幼时成为当时最重要的外戚家族的一员，过上上流社会的生活。
霍去病在少年时代就“善骑射”[4] 。武帝很喜欢他，让他做了自己的近臣侍中。武帝还曾想亲自教授霍去病孙子、吴起的兵法，但霍去病以“顾方略何如耳，不至学古兵法”为由推辞[5] 。
主词条：定襄北之战
元朔六年（前123年），年仅十八岁的霍去病被武帝任命为剽姚校尉（“剽姚”意为勇猛劲疾[65] ），命其随大将军卫青出击匈奴。卫青受诏后，授予霍去病壮士。随后，霍去病与轻勇骑八百直弃大军数百里，伺机打击匈奴军。这是他第一次统兵，却一举“斩捕首虏过当”（“过当”一般被理解为斩杀敌人数目超过己方损失的数目，《汉书》引汉武帝言载为“斩首捕虏二千二十八级”）的成果，其中包括匈奴的相国、当户等高级官员，同时也斩杀了匈奴单于伊稚斜的祖父辈籍若侯产（籍若侯乃封号，名产），并俘虏单于的叔父罗姑比，两次功冠全军。战后，武帝割南阳郡穰县的庐阳乡、宛县的临駣聚（今河南邓州西北）为冠军侯国[39] ，封霍去病为冠军侯（关于霍去病受封冠军侯时获赐的食邑数目，《史记》与《汉书》相差较大，一说一千六百户，一说二千五百户），以表彰其勇冠三军之意[74] 。[6] [70] 酒泉市的霍去病雕像