若以地质论，芝山岩为台北盆地的孤立岩体，数百万年前，与台北同是海底礁石。后来，台北盆地逐渐成为一大淡水咸水交接湖泊后，芝山岩首先浮出，成为阳明山下的小岛屿。该史前岛屿由海内厚砂岩组成，富含古生物（例如贝类）化石，加上风化、侵蚀作用，使得芝山岩拥有许多特殊的地质景观，包括大岩石，丰富地貌、风化砾等。因此在台北大湖泊消退的过程里面，造就了现有石象，石砚，石墨，洋葱石等奇观。
因为特殊风化过程，约于数千年前成为小土丘的芝山岩拥有多种植物具有皮孙木、搭肉刺、血桐、棱果榕、鲁花树等海岸生物。这种山丘上有海边植物的现象，于台湾实为少见。
除了这些生态景观外，芝山岩也拥有丰富的历史与人文景观。例公元前4000年存在的芝山岩遗址，1752年建造的芝山岩惠济宫，1825年建造的芝山岩隘门，公元2000年被学者发现的圆山文化骨骸都相当具有代表性。
除了国定古迹之外，芝山岩上还有纪念戴笠（戴雨农）所兴建的雨农阅览室，与六氏先生事件有关的，伊藤博文亲题学务官遭难碑、六氏先生墓与国语传习所旧址。另外在芝山入口不远处，还有一间收容林爽文事变与漳泉分类械斗罹难者尸体的同归所。
2004年，台北市政府以官办民营方式委托台北市野鸟学会经营维护芝山岩，定名为「芝山文化生态绿园」，简称「芝山绿园」，并已于2005年12月31日正式开园，开放民众参观。