灵山位于宜阳县城西7.5公里处的洛河南岸，系熊耳山余脉，海拔500米，面积约7.5平方公里。翠柏满山，丛林森然。此山又名凤凰山，“诸峰耸碧，左右两翼翩翩欲飞。伸颈，饮洛河之流；举目，睇邙山之胜”（见《翳然亭记》）。西侧黄帝山峻峭入云，东侧鸡冠山巍巍壮观。灵山宛如两山拱抱的一颗明珠，苍然独秀。灵山寺坐落于灵山山腰，“紫崖仙洞罗列在前，秦松汉柏荷插在后”，全寺因山势而建，座南向北，寺址占地18667.6平方米，寺内现有殿亭楼阁近百间，自北而南沿着中轴线上有五重建筑，为省级文物保护单位。据初步考证，灵山寺始建于金大定三年（公元1163年），距今已有800多年，明、清两代几经重修，大悲阁、大雄殿梁柱仍为金代物。灵山寺原名报忠寺，传说凤凰山为周灵王葬处，因而得名灵山，寺又因山得名灵山寺。
灵山寺古柏葱郁，云烟缥缈，流泉潺潺，殿宇玲珑，自古被誉为“乃一方之奇观，光千古之名刹”，是中州著名的古迹之一。
山门为单檐歇山顶式，形似城楼，高约4米，方约100平方米。上有阁房3间，始建于清康熙十年（1671年），阁中原供祀迦兰菩萨，1980年重修。下有洞门，为寺院的北门，门额上有全国政协副主席、中国佛教协会会长赵朴初题写的“灵山寺”三个大字。从山门而入，一进为明代硬山顶的天王殿，殿中供祀着重新金塑的四天王像，屹然而立。正中间为一弥勒佛像，高1.7米。二进是飞檐歇山顶的中佛殿（又名大悲阁），殿内供祀有1991年从国外运来的3尊缅甸玉石佛菩萨像，高1.6米，金碧辉煌，焕然一新。殿前有株年逾千岁的银杏树，身粗3围，高约35米，枝繁叶茂。三进是庑殿顶式的大雄殿，殿内有5尊佛像，端庄慈祥。中供释迦牟尼佛，高约5米，左药师，右弥陀，阿难和迦叶侍立两侧，各高2.2米。这组佛像系明代艺术佳品，几经沧桑，至今完好无损，是河南现存较早的泥塑作品，为全省保存比较完整的塑像群之一，有极其珍贵的艺术价值。大雄殿和中佛殿是灵山寺的主体建筑，飞檐歇山顶与庑殿顶式建筑，均系金代原始结构，是研究古代建筑艺术的宝贵遗产。大雄殿前台阶下，矗立着七级浮屠石塔，高丈余，上刻有佛、菩萨、罗汉像30尊，石刻工艺精致，类似洛阳龙门造像。西侧为僧众参禅之所，殿后围墙上镶嵌着历代名人游客吟咏灵山风光的诗赋28幅，真草隶篆，各具风韵。四进藏经楼，为贮存佛经之处。东西两侧各有配殿22间，相对而立，甚为壮观。
大雄殿内的三世佛像为明代泥塑作品，后面砖墙上嵌有历代题咏石刻二十八幅，具有极高艺术文物价值。大雄殿前阶下有一座七级佛塔，建于明代成化十七年(1481年)。寺东角门外有塔林，东南有凤凰泉。
灵山寺有四大奇观一直为人称道。一为寺门向北开，全国绝大多数寺院都是坐北向南，而灵山寺却是坐南向北；二为寺院有山门，灵山寺与别的寺院不同，独有城楼式山门；三为佛像有胡须，这在全国也是独有的；四为寺院与尼姑庵紧连，这在别的地方也是极少见的。