清凉山乃钟山西延之尾端，古名石头山、石首山，最初名为石头山。高者海拔65米，低者19米。
战国时期，楚威王七年（公元前333年）灭越，在石头山设金陵邑，南京自此始称金陵。
东汉建安十三年（208年），刘备派诸葛亮出使东吴，与孙权共商抵抗曹操的大计，据说诸葛亮曾经驻马石头山，观察金陵形势，作出了“钟山龙蟠，石头虎踞，真乃帝王之宅也”的评语，这只蹲踞江岸的老虎就指清凉山。今清凉山上有诸葛武侯驻马坡遗址，山下有虎踞关、龙蟠里等地名。
东汉建安十六年（211年），孙权于将政治中心迁来南京，次年在楚金陵邑的基础上修建了著名的石头城，作为江防要塞。古石头城现还有部分遗存，饱经风霜而雄姿宛在。
唐以前，长江直逼清凉山西南麓，江水冲击拍打，形成悬崖峭壁，成为阻北敌南渡的天然屏障。清凉山是南京西部的重要制高点，为兵家必争之地。该山西面的悬岩峭壁紧逼长江，山下南侧是当时的水陆码头，渡江南来的旅客登岸后首先入目的便是这座石头山。
南唐以前，长江从清凉山西麓断层下流过，地势险要，一向为军事重镇。后长江逐渐西移。南唐后主李煜将清凉山下的兴教寺扩建为石城清凉大道场，从此改名清凉山，成为金陵名胜之一。并在寺内建德庆堂作为避暑离宫，在山上广植翠竹，以此清凉。南唐古建筑现已毁损无遗，仅存古井一口，为南唐保大三年（945年）所掘，故名保大泉；相传寺中老僧常饮井水，须发不白，故又称还阳泉。
北宋太平兴国五年（980年）迁幕府山清凉广惠禅寺于此。
明朝建文四年（1402年），周王朱橚重建，始定名清凉寺，后毁于太平天国年间，虽经清末重修，今亦不存。明世宗嘉靖年间，督学御史耿定向在清凉山东峰建崇正书院，讲学课徒，培养了不少人才。后毁于太平天国年间，同治四年改建为小九华寺，一度香火兴旺，1966年又被毁。
清朝康熙年间，被誉为金陵八大家之首的画家龚贤在清凉山西麓置地半亩，建屋数间隐居，取名半亩园；相传今扫叶楼即龚贤故居。原建筑毁于太平天国年间，清光绪十五年（公元188c年）重建，现经维修，保存尚好。
民国十九年（1930年），市公园管理处把清凉山列为公园，划交鼓楼公园办事处兼管。
民国二十三年（1934年）4月11日，蒋介石电军政部、军委会迁移扫叶楼驻军。[3]
民国二十六年（1937年）底侵华日军侵占南京，山林与建筑皆遭破坏。
1961年辟为公园。文革中遭到破坏。
1970年代末，开辟城西干道（虎踞路）时，为降低路面高度，挖掘山体，切断了清凉山，道路以东部分恢复为清凉山公园，山上有清凉寺、扫叶楼、还阳井、崇正书院、翠微亭、驻马坡等古迹。清凉寺旧藏“三绝”，即董羽画龙，李后主八分书和李霄远的草书。道路以西清凉山西部的石头城（包括其南北的悬崖峭壁和一段明城墙）被分割开来。