悬空寺原叫“玄空阁”，“玄”取自于中国道教教理，“空”则来源于佛教的教理，后改名为“悬空寺”，是因为整座寺院就像悬挂在悬崖上，在汉语中，“悬”与“玄”同音，因此得名。[11]
北魏天兴元年（公元398年），北魏建都平城（今大同市），北魏天师道长寇谦之（公元365-448年）仙逝前留下遗训：要建一座空中寺院，以达“上延霄客，下绝嚣浮”。之后天师弟子们多方筹资，精心选址设计，悬空寺于北魏太和十五年（公元491年）建成[11] 。虽创建时的建筑遗存和格局欠详，但现今悬空寺的空间位置和构筑方法继承了北魏时期的主要特征[3] 。
自北魏太和十五年（491年）以来，悬空寺所在磁窑峡的峡谷两侧陆续构筑了栈道、桥梁等一系列交通设施，恒山十八景中的“磁峡烟云”和“云（楼）阁虹桥”由此开始。[3]
唐开元二十三年（735年），李白游览悬空寺后，在岩壁上书写了“壮观”二字。[10]
悬空寺现存建筑是明清两代修缮的遗物。[11] 据碑记所载，金、元时期，南楼、北楼及悬空栈桥已大致形成现今的空间格局。而且，连接中原与塞外的磁窑峡古道、北魏栈道和云阁虹桥仍在使用。[3]
明洪武九年设置磁窑口巡检司，陆续构筑了磁窑口关、烟墩、磁窑铺等设施，用于管理人员往来、传递文书讯息。[3] 明万历年间，在南楼南侧增建了前楼数间，所谓“前楼”应指现今之佛堂和大雄宝殿区域，而且重修了悬空寺山门。此时悬空寺虽形成了较完整的寺院格局，但云阁虹桥已不存，仅存部分北魏栈道和方窟遗址。[3]
至清代，磁窑峡始终保持了商贸通衢的地位，即磁窑峡口是恒山山岳崇祀文化圈的起始点与重要节点，历代帝王多由此进入恒山核心区祭祀北岳。[3] 据顺治十八年(1661)《浑源州志▪恒岳志》的记载，当时悬空寺的格局和建筑规模与现今较为接近，但三身佛裸露在外，并无建筑覆盖，大雄宝殿南侧有鼓楼而北侧尚无钟楼，也没有送子观音殿和地藏殿。此外现今三圣殿的北侧，当时有一单层殿宇，但现已无存。[3] 清朝顺治晚期至雍正元年（1723年），佛堂的右侧修建钟楼。清朝乾隆十二年（1747年），重修大墙、钟楼，修补各建筑残损，修补造像并彩绘[3] 。