蒿里山首先是古代帝王举行禅地大典之所。蒿里山又名高里山，《汉书》中多处记载汉武帝“亲禅高里”。以此知蒿里山曾称高里山。约到魏晋时期，出现“蒿里”之称。
太初元年（前104年），汉武帝多次封泰山、禅蒿里，前后逾20年。由于他频繁地封禅泰山，对后世帝王产生了一定的影响。
蒿里山成为阴间冥府，是由山川崇拜变异而来。清人俞樾《茶香室丛钞》谓：“余谓后世言神言鬼，皆言之泰山。虽虚诞之说，而未始无理，并因天事天，因地事地，此封禅之所自起也……神道属天，王者既封泰山以报天，则泰山有神道矣;鬼道属地，王者既禅泰山下小山，如云云、亭亭、梁父、高里诸山以报地，则云云、亭亭、梁父、高里诸山有鬼道矣。”
在百家争鸣的春秋战国时期，出现了邹衍阴阳五行学说，这种学说缘起于齐国稷下学宫，当时属于齐国领地的泰山就被视为阴阳交替、万物发育的地方。佛教传入中国前，阴阳五行等相关学说，可以视为阴间冥府的原始理论基础。汉朝初期就有的魂归泰山观念，是蒿里山阴间冥府产生的直接理论依据。东汉时出现了“泰山治鬼说”，使泰山神掌管了天下生杀大权，作为古帝王降禅之坛的蒿里山，一变而为阴间冥府。之后，历代都有不少文人以文学的笔法描绘蒿里山冥府的情形。晋代文学家干宝《搜神记》、张华《博物志》都说过泰山掌管生死，书中还描写了不少托梦做阴间泰山官职而应验的故事。
之后，魏晋南北朝、隋唐至宋，朝代交替，蒿里山冥府的地位却一直延续下来。从诗中所言有馆、有亭可知，作为冥府，蒿里山从那时起就已经有了庙宇，后来历朝历代，不断有所增建。
元代至元二十一年，东岳提点监修官兼东平路道教提点张志纯大炼师重修蒿里山神祠，立《蒿里碑》，文学家翰林集贤学士徐世隆撰文，泰安州知事徐汝嘉书丹，碑文主要阐述了泰山主生死的神威。随着历史进程的推进，蒿里山冥府的信仰更加广泛，更加深入。
明《泰山志》云：“亭禅山，一名高里，又名蒿里，联属社首。”在小说《封神演义》中，姜子牙封周朝武将黄飞虎任东岳大帝之职：“执掌幽冥地府一十八重地狱，凡一应生死转化人神仙鬼，俱从东岳勘对，方许施行。”
“自唐至宋，香火不绝”，金“贞裕之兵”毁于兵燹。元至元二十一年修复。明成化三年重修，嘉靖间复创建祠门。民国前期，蒿里山香火甚盛，游人如云，每年春祠前搭台演戏，百货杂陈，胜似闹市。
因为蒿里山地理位置突出，是泰城的重要门户之地，特别是热兵器时代更是如此。谁占据蒿里山，谁就控制了泰城，拉锯的争夺对地上的建筑物，其破坏为之灭顶，古迹名胜已荡然无存。
1928年，军阀张宗昌占据蒿里山挖战壕，设炮兵阵地，毁山林、文峰塔。
1931年驻军马鸿逵部，拆蒿里山塔基，掘地取历朝历代封禅之金银玉石，其工程中掘出的唐宋玉册，曾轰动当时。