1880年12月31日，马歇尔出生在美国宾夕法尼亚州的联合镇[3] 。他是家中最小的孩子，上面有一个哥哥和一个姐姐。马歇尔的父亲老马歇尔是一家焦炭熔炉公司的董事长，在宾夕法尼亚拥有富煤矿。后因经营无方，晚年生活拮据[7] 。马歇尔家是美国建国初期著名法学家、政治家约翰·马歇尔的远亲[53] 。
马歇尔童年和少年时酷爱运动，骑车、打猎、游泳、钓鱼，无所不精。学习兴趣不大，成绩平平。他后来承认，9岁时他便认定自己注定是“全班的劣等生”。父亲对他很失望，常用柳条鞭管教他；哥哥姐姐和同伴的冷嘲热讽，可以说是家常便饭。但这也未能使他的学习成绩好起来。少年时代，马歇尔时而向往海上生活，时而羡慕铁匠行当。一次，他到铁匠铺玩了一天，突然心血来潮，发誓将来做个铁匠。父亲发现他这一想法后，狠狠揍了他一顿。[7] [10]
老马歇尔对军队情有独钟，希望儿子能成为军官。他的长子以优异成绩考进莱克星顿的弗吉尼亚军事学院，却志不在军队，毕业后却改行到一家钢铁厂当了化学师。这时，马歇尔一再要求父母送他到哥哥的母校弗吉尼亚军校。他后来承认，他如此想上军校，并非因为喜欢军队或想穿上军装出出风头，而是因为要胜过他那个自命不凡、百般嘲笑他的哥哥。1897年9月，16岁的马歇尔进入弗吉尼亚军校。[7] [10]
马歇尔刚入校，便受到老生的“考验”。老生按例让他在地板上悬蹲10分钟，正下方固定着一把刺刀。他刚患过伤寒，身虚体弱，没坚持几分钟便坐到刀尖上，臀部受伤，血流如注。他被抬到医务所急救，但始终未说出受伤的缘由。他的行为赢得大家的赞许，他受到尊敬，在军校站住脚。[10]