金章宗时期，在此处建有西山八大水院之一的潭水院。
清康熙十六年(1677年)，开始在香山寺附近营造行宫。
清雍正十三年(1735年)，扩建香山行宫。
清乾隆十年（1745年），在香山修建静宜园，建成二十八景。
清乾隆十二年（1747年），香山行宫更名为静宜园。
清咸丰十年（1860年），英法联军人侵北京，在西郊焚掠。八月廿四日（10月8日）洗劫了香山静宜园，园内的文物、珍宝被掠夺一空。九月初六（10月19日）又放火焚烧香山静宜园，园内建筑几乎全被焚毁，仅存残破的正凝堂和位于山腰隐于林中未被侵略军发现的梯云山馆。
清光绪二十六年（1900年），香山静宜园又一次遭到八国联军的洗劫。
清代末年，香山静宜园已是遍山瓦砾，破败不堪。
民国元年（1912年）冬，由喀喇沁王福晋向逊清室请以静宜园开办静宜女校。民国六年（1917年）夏，由救济联合会在香山静宜园内盖慈幼院。同年，熊希龄在原松坞云庄建"双清"私人别墅。民国七年（1918年），静宜园董事会为补充静宜女校经费之不足，制定了《静宜园借地建筑简章》，准许私人人园租地建造别墅，至民国二十四年（1935年），静宜园内私人房舍已发展到11家。残存名迹也多为他用。民国时期，园内古树名木屡遭盗伐，大部景区又被达官贵人、军阀巨商占为别墅，禁人游览。
1949年3月25日，毛泽东主席和刘少奇、朱德、周恩来、任弼时等到达香山静宜园，分别住在双清别墅及来青轩一带。毛泽东等中央领导人在香山指挥了全国解放战争，筹划了建国大计。
1956年2月27日和29日，北京市人民委员会两次召开会议决定，由各驻园单位与市园林局、西山风景区管理处、派出所各出一名代表，组成“香山开放筹备委员会”。[4][5]
清·董邦达 静宜园二十八景图轴（局部） 故宫博物院藏
静宜园是清代的一座以山地为基址而建成的行宫御苑，全园占地150多公顷。周围的宫墙顺山势而建。园内叠岭青铺，层林尽染，泉流澄碧，苔石凝苍，处处以翠取胜。主峰香炉峰，俗称“鬼见愁”，海拔557米，南、北侧岭的山势自西向东延伸递减成环抱之势，景界开阔，可以俯瞰东面的广大平原。内垣接近山麓，为园内主要建筑荟萃之地，各种类型的建筑物如宫殿、梵刹、厅堂、轩榭、园林庭院等，都能依山就势，成为天然风景的点缀。外垣占地最广，是静宜园的高山区，建筑物很少，以山林景观为主调；这里地势开阔而高峻，可对园内外的景色一览无遗。外垣的“西山晴雪”，为著名的燕京八景之一。别垣内有见心斋和昭庙两处较大的建筑群。园中之园见心斋始建于明代嘉靖年间（1522~1566年），庭院内以曲廊环抱半圆形水池，池西有三开间的轩榭，即见心斋。斋后山石嶙峋，厅堂依山而建，松柏交翠。昭庙全名“宗镜大昭之庙”，清乾隆四十五年（1780年）为纪念班禅六世来京朝觐而修建的，兼有汉族和藏族的建筑风格。庙后矗立着一座七层琉璃砖塔。[7][11]