白云山为南粤名山，自古有“羊城第一秀”之称。[5] 《羊城古钞》云：“每当秋霁，有白云蓊郁且起，半壁皆素，故名曰白云”。[3]
在新石器时代，白云山已有人类活动，其山北黄婆洞留存有该时期史前文化的遗址。[41] [17]
秦末时，高士郑安期隐居在白云山采药济世，并在白云山“成仙而去”。[41] [17]
晋代年间，江苏人葛洪曾在白云山炼丹，著有道家名作《抱朴子》。[41] [17]
南梁时，景泰禅师建立起白云山第一座寺庙“景泰寺”，还留下“景泰僧归”一景。[41] [17]
唐宋以后，陆续有杜审言、李群玉、苏轼、韩愈等著名文人登山吟诗。他们的诗文寓情于物，成为岭南宝贵的历史精神财富。[41] [17]
元代，“景泰僧归”成为羊城八景之一。[41] [17]
明清时期，羊城八景中白云山占其三，分别为“蒲涧濂泉”“景泰僧归”“白云晚望”。[41] [17] 清末时，白云山上已建有白云寺、双溪寺、能仁寺、弥勒寺等古寺及白山仙馆、明珠、百花冢等名胜古迹。[5]
中国解放时，广州市白云山景区只剩下“天南第一峰”牌坊和部分寺院的断壁残垣。[5]
中华人民共和国成立后，广州市白云山景区的景致和环境才陆续恢复。[5]
1956年，为了解决白云山下农民的生产和生活用水困难，修建了白云山黄婆洞水库。[5]
1958年，广州市民义务劳动挖建麓湖，该湖是白云山风景区三大水库之一。[5]
1965年，白云山白云晓望亭建成。[5]
1984年4月16日，白云山景区开始建造白云索道，这是中国第一条自行设计、自行建造的单线循环、双钳口开合式抱索器的观光索道。[5]
1985年12月1日，由广东省音乐家协会和广州市人民政府筹集资金合建的星海园于景区内建成。[5]