东汉始建
据传东汉永平七年（64年），明帝闻西方有异神，遣郎中蔡愔、博士弟子秦景等赴天竺求法。据《冥祥记》《高僧传》等记载，永平十年，他们与中天竺僧人摄摩腾、竺法兰赍佛经、佛像回洛阳。初居鸿胪寺，后以鸿胪非久居之馆，次年诏令于雍门外别建住所。因为僧人是为天竺来的客人，仍然以宾礼对待，因此，住所名延续用“寺”。
永平八年（65年），蔡、秦等人告别帝都，踏上“西天取经”的万里征途。在大月氏国（今阿富汗境至中亚一带），遇到印度高僧摄摩腾、竺法兰，见到了佛经和释迦牟尼佛白毡像，恳请二位高僧东赴中国弘法布教。
永平十年（67年），二位印度高僧应邀和东汉使者一道，用白马驮载佛经、佛像同返国都洛阳。汉明帝见到佛经、佛像，十分高兴，对二位高僧极为礼重，亲自予以接待，并安排他们在当时负责外交事务的官署“鸿胪寺”暂住。
永平十一年（68年），汉明帝敕令在洛阳西雍门外三里御道北兴建僧院。为纪念白马驮经，取名“白马寺”。“寺”字即源于“鸿胪寺”之“寺”字，后来“寺”字便成了中国寺院的一种泛称。[6] 摄摩腾和竺法兰在此译出《四十二章经》，为现存中国第一部汉译佛典。
在摄摩腾和竺法兰之后，又有多位西方高僧来到白马寺译经，在永平十一年（68年）以后的一百五十多年时间里，有一百九十二部，合计三百九十五卷佛经在这里译出，白马寺成为当之无愧的中国第一译经道场。
在东汉末年的军阀混战中，第一次遭到了破坏。东汉初平元年（190年），以渤海太守袁绍为盟主的各地联军，对洛阳形成了半包围的阵势。为防止人民逃回，董卓把洛阳城周围二百里以内的房屋全部烧光[39] ，洛阳白马寺被烧荡殆尽。[7]
曹魏重建
建安二十五年（220年）曹丕称帝，在东汉洛阳废墟之上，重新营建洛阳宫，即包括重建洛阳白马寺。再从曹魏嘉平二年（250年）有昙柯迦罗在洛阳白马寺译“佛律”的记载，足证洛阳白马寺在文帝曹丕、明帝曹睿之后已经恢复。[7]