因村聚集在山边而得名。
明代形成聚落。村中《娘娘庙记》碑上载明嘉靖四十一年（1562）称“聚山村”，聚集在山边的村落之意。万历成书的《宛署杂记》记为“撅山村”，《北京历史地图集》清西山园林称“绝山村”。民国二十一年（1932）《北平市自治区坊所属街巷村里名称录》将“聚”字代写为“巨”，始称“巨山村”，但此处并无巨大的山，显系谐音写字。1953年《北京市街巷名称册》亦称“巨山村”。
巨山村形形式主义，主街东西走向，属平原地貌，地下水资源丰富。
巨山村昔日寺庙众多。其中娘娘庙，建于明万历年，房屋三间，庙内有泥像六尊。七圣神祠，建于明万历年，清光绪二十五年（1899）重修。瓦房一间，庙有泥像十三尊。弥勒寺，建于1625年。房屋六间，庙内法物有泥像三尊。