赵孟頫于宋理宗宝祐二年九月十日（1254年10月22日）生于吴兴（今浙江省湖州市）[74] ，为宋太祖赵匡胤的十一世孙，其十世祖是太祖的第四子秦王赵德芳。其五世祖为宋孝宗赵昚的父亲、秀安僖王赵子偁、四世祖为崇王赵伯圭，因孝宗赐赵伯圭宅第于湖州，故而他的后代子孙成为湖州人。赵孟頫的曾祖赵师垂，祖父赵希戭，父亲赵与訔，亦皆仕于南宋，官衔颇高[1] 。嫡母李氏，生母丘氏。祖父早死无子，由祖母收他为后。赵孟頫为赵与訔第七子。他十一岁时，父亲去世，由生母督学。[2] [3] [73]
赵孟頫自幼聪敏，读书过目不忘，下笔成文，写字运笔如风。十四岁时，赵孟頫因其家世代为官亦入补官爵，并通过吏部选拔官员的考试，调任真州司户参军。[4]
南宋灭亡后，赵孟頫一度蛰居在家。丘氏说：“圣朝必收江南才能之士而用。你不多读书，如何超乎常人？”他因而愈加努力，拜老儒敖继公研习经义，学业日进，声名卓著。吏部尚书夹谷之奇举荐赵孟頫为翰林国史院编修官，但他辞不赴任。[5] [2]
至元二十三年（1286年），元朝行台侍御史程钜夫奉诏搜访隐居于江南的宋代遗臣，得二十余人，赵孟頫名列其首，并单独被引见入宫，觐见元世祖忽必烈。[2] 世祖见赵孟頫才气豪迈，神采焕发，如同神仙中人，非常高兴，让他位坐尚书左丞叶李之上[54] 。当时朝廷刚刚设立尚书省，命赵孟頫起草诏书，颁布天下。世祖看了诏书后称赞道：“说出了朕心中所要说的话。”朝廷召集百官于刑部，商讨制定刑法。众人认为凡贪赃满至元宝钞二百贯者，都应论死罪。赵孟頫则认为处罚太重，因为钞法创立后的几十年内，已大幅度贬值，用贬值的宝钞来决定人的生死，不足采取。有人见他年少，又是来自南方，不了解元朝国情，指责他反对以宝钞来定罪，是想阻碍宝钞的流行。赵孟頫也理直气壮地反驳，指出：“刑法是关系到人命的生死，必须分别轻重。我奉诏参与商议，不敢不言。你不讲道理，企图以势压人，这是不行的！”那人被说得哑口无言。世祖打算重用赵孟頫，但遭到了一些人的阻止。[6] 明仇英《赵孟頫写经换茶图》（局部），美国克利夫兰博物馆藏