青山原称屯门山。据清同治重刊的《广东通志》记载："南头寨在县之东南海口，乃一府之门户，即屯门镇故址。"引文中的屯门镇即今青山湾及后海湾一带，屯门山与大屿山遥相呼应。屯门山又称杯渡山，与晋宋间的一位高僧有关。这位高僧于南朝宋元嘉五年(428)来到屯门山，建一间茅棚，开凿了一座岩洞居住。人们常见其乘坐大木杯渡海，或者踏着水上的浮木渡河。人们都不知晓他的僧名，姑且称他为杯渡禅师。现今青山北腰有一寺，名为杯渡寺，就是为了纪念杯渡禅师而兴建的。据《青山禅院大观》记载："青山有杯渡寺、青云观，久废，居士为之重建。"这位居士就是陈春亭。陈春亭原籍福建漳浦，初到香港时经商，致富后在九龙山各地设多处斋堂。因其信奉佛教，后来隐居青山，以后远赴宁波观宗寺请谛闲法师收他为徒，出家后法号显奇。显奇返回香港后，与其好友张纯白居士致力于募缘兴建青山寺。后来，终于建起了大雄宝殿、地藏菩萨殿、观音阁、海月亭以及方丈室等等建筑。青山寺得到恢复。
青山禅院建筑简朴典雅。进入寺门，上为佛堂，右为地藏菩萨殿，左为韦陀殿。韦陀殿的背后有大佛像。再朝上走，就登上了大雄宝殿，殿内供奉三世佛像。殿左侧为诸天宝殿，右侧为青云观，供奉观音菩萨像。观后有古钟一口，上书"青云观，道光二十二年制"的字样。沿路向西而行，有平房十余间，此为知客堂和食堂。
沿杯渡花园西行，即可到达海月亭。亭上横书"海衔明月"，亭旁则有"白云白鸟飞东去，青史青山自古今"的联句。稍上，有写有"杯渡遗迹"的牌坊。入内有法堂，上有藏经阁，中央放置杯渡禅师的石像。堂后有杯渡岩，岩石上建有一小庵，庵额为"杯渡禅师"四字。相传此庵为杯渡禅师的弟子所建，名为"杯渡庵"。
最初的青山禅院，纸是一座岩及一间茅屋而已。青山禅院内，有一个「杯渡岩」，是一个大山岩，岩内有一平石，是杯渡禅师最初到青山居住的地方，岩上的平石已建成一座小庙，庙额书「杯渡禅师」四字，这就是最初的杯渡庙。小庙旁边，尚有一座九百年前的杯渡大石像。据说是由杯渡禅师徒弟所建，并搭茅屋于岩前，作为寺门。到了唐末，广东一小国称南汉。当时南汉帝于大宝十一年（969）封青山为瑞应山，并命人雕塑杯渡禅师的神像，在山上供奉，开始建一间杯渡寺，这是青山禅院前身。
禅院曾多次重建。1821年，道教徒接管禅院，加以扩建并以其教徽作装饰。后来佛教徒于1921年重新接管并重建禅院，即现时的禅院。禅院主殿大雄宝殿，殿内主坛上供奉三尊佛：释迦牟尼佛、阿弥陀佛及药师佛，已有一百多年历史。大雄宝殿屋顶上有二龙争珠、鲤鱼戏水的雕塑。青山禅院藏于高山丛林中，位处偏僻的地方，不像其他禅院般热闹，显得格外清静，但亦因此与别不同。
《东莞县志》中记载︰「广州图经，杯渡之山在东莞屯门，界三十八里。耆旧相传，昔日杯渡师来居屯门，因而得名。」《新安县志》载：「杯渡禅师，不知姓名，尝挈木杯渡水，因以为号，游止摩定，不修细行，神力卓越，莫测其由。……元嘉五年（公元428年）三月……憩邑屯门山，后人因名曰杯渡山。所谓屯门者，即杯渡山也，旧有军寨，在北之麓，今捕盗廨之东，有伪刘大宝十二年岁次甲寅，关翊卫副指挥，同知屯门镇检点防右靖海都巡陈延，命工镌杯渡禅师之像，充杯渡山供养。」