赵匡胤为涿郡人[3] ，于后唐天成二年二月十六日（927年3月21日）生于洛阳夹马营（今河南省洛阳市瀍河回族区东关）[1] [2] 。他出身军人家庭，高祖赵朓，在唐朝官至幽都（今北京）县令；曾祖赵珽，于唐朝任御史中丞；祖父赵敬，历任营、蓟、涿三州刺史。赵匡胤为赵弘殷（宋宣祖）次子，长兄赵匡济早夭，母亲为杜氏（昭宪太后）。[7]
赵弘殷“好儒事”，喜“访求书籍”，又意识到了“文武为立身之本”；杜氏本人也有一定的文化修养。在父母的影响下，赵匡胤最初投入夹马营“陈学究”的学馆中读书，后来赵家又聘请了“赵学究”教导赵匡胤[196] 。除此之外，赵匡胤还曾受学于饱学宿儒辛文悦，学习“五经”[197] [198] 。在文化教育外，赵匡胤对习武表现出更加浓厚的兴趣，史称其“学骑射，辄出人上”[7] ，喜欢聚集伙伴按照战阵的模式排练，并时常把弄一根纯铁打造的杆棒[199] 。
少年时期的赵匡胤个性强横，好赌博，爱打抱不平，嫉恶如仇，惹了不少麻烦[203] 。后晋开运元年（944年），十八岁的赵匡胤和贺景思（与赵弘殷同在禁军供职）的长女贺氏成婚。后汉初年，赵匡胤为寻求建功立业的机遇，离家出走，南下复州（今湖北天门附近），投奔赵弘殷的旧同僚、复州防御使王彦超，但王彦超只拿出一些钱财打发赵匡胤而已[200] 。赵匡胤转投随州（今湖北随州附近）刺史董宗本，得其收留，却又因与董宗本之子董遵诲产生不快而离开随州。在寓居襄阳的一座寺庙时，得到一位精通数术的老和尚的劝导，往北出发，抵达了后汉枢密使郭威与河中节度使李守贞作战的前线[7] 。但他这时应该没有与郭威等正式接触，只是探望了一下随郭威出征而左眼负伤的父亲赵弘殷，随后便北上太原，被正在“招纳亡命”的河东节度使刘崇收留为镇将[201] 。[202]