大报恩寺的前身是建初寺，据《金陵梵刹志》记载，东吴赤乌十年（248年），僧人康僧会乘船来到长干里传授佛教，并受到了东吴大帝孙权的接见，十四日后他如约呈上一颗五色的舍利子，孙权见后便帮助他修建了寺庙和佛塔。寺庙名为“建初寺”，是江南地区第一座寺院，以佛塔为中心建造，佛塔名为阿育王塔，供奉着印度而来的感应舍利。[4] [5] [6]
东吴灭亡后，受战乱影响建初寺和阿育王塔被焚烧损坏。晋太康年间（280年—289年）为延续烟火供奉神佛，古人在旧址附近重新修建了寺庙，改名为长干寺。[5] 据《梁书·诸夷》《南史·夷貊上·海南诸国》二书记载，东晋宁康三年（375年），有一位原名刘萨河的并州僧人曾昏迷七日，惊醒后并自称看见地狱中残酷惩罚的场景，后听从僧人劝告，前往南方寻找阿育王塔，以忏悔此前打猎时犯下的杀生罪孽，出家后改名为慧达。慧达来到长干寺后被其发出的异样颜色所吸引，推断里面藏有舍利，便召人挖掘，发现了三颗舍利，又在长干寺的西边建造一塔用来重新供奉舍利，从此寺庙变为双塔院形式，影响了江南后来的寺庙建造构成。[4] [26] [27]
南北朝时期是长干寺的第一个发展鼎盛期。[8] [7] [26] 南朝梁武帝在大同三年（537年）重建佛塔，在挖掘中发现装有银制壶器的石匣子，银壶中藏有7粒舍利、佛螺髻发和佛爪。同年9月，梁武帝再度修缮双塔后，将舍利同其他佛物放入金玉所制七宝塔中，再藏入双塔地宫内石匣中，同时放入王侯贵族和上层百姓提供的珍贵财宝。[4] [9]
隋唐时期因政治影响，长干寺没有重大变动。[4] [10] [11]
唐朝长庆四年（824年），身为佛教信徒的润州（今江苏省镇江市）刺史李德裕，听闻梁武帝挖掘舍利的事迹后，前往上元县（今南京市）再次挖开荒废已久的长干寺阿育王塔地宫，并发现了21枚舍利，其中11枚运回润州、10枚继续保留在长干寺中。根据史料记载，“敬宗宝历二年（826年）三月乙亥，甘露降北固山”被视为祥瑞，李德裕在北固山建造甘露寺并修建石塔为替唐穆宗祈福，石塔地宫中便放置了自长干寺运回的11枚舍利，并将整件事详细完整记载于镇江甘露寺的《重瘗长干寺阿育王塔舍利记》石刻铭文中，学者华国荣称“这些舍利以后一直留在镇江”。[4] [10] [11]
北宋端拱元年（988年），印度僧人僧可政得到玄奘大师的顶骨舍利，并供藏在长干寺塔楼中。[5]