康山建庙始于汉代，是为纪念古闽越国五位为民捐躯的武将。明《闽都记》载：“汉闽越时，有大鳝在蟠溪为害众民。郢之三子，人称白马三郎来此射鳝除恶，被鳝尾所缠，人马俱殁。随行保驾的十八部将也殉难。”其中五位部将的尸体漂至康山下河边，就地厚葬。乡人集资建庙祭祀五位为民除害的英雄。清工部尚书、国史馆总编廖鸿荃撰写《康山帅庙序》表述：“榕城之东有康山庙焉，中奉五帅，其一柳曦，次何懋森，次王宸、邓芝星、陈万清。相传五人为汉闽越臣。”他们随郢王三子白马王为民除害，壮烈捐躯。文章写道：“乡人素受其福，以严关所限，仿汉原庙之意于里东草创其所。”因地处福州东关，防务的严格限制不宜大兴土木。一向受庙神护佑的乡人，便仿照汉代该庙的原貌略加修复。至今康山庙台面上雕刻着一只巨型水生物的头颅，为传说中鳝鱼精头。康山古庙几经历代修复仍保留至今的文物，反映了古闽越人民与自然界斗争艰难创业的史实。 康山庙
宋代自淳熙二年（1175年）至庆元六年（1200年），发生了以朱熹为代表的道学集团和反道学派激烈的政治斗争，几起几落。1188年，朱熹被免官出朝。他带着忧郁的心情游历八闽。当时，福州东郊的东禅寺是榕城市郊上游逆匪不靖，常护我军屡昭感应，是以王庆两制军各献匾额，所属有司春秋至祭。”
光绪年间重修康山庙，也是由兵营全力修建。至今庙宇石柱仍有兵营修庙的题刻。
左宗棠两度出任闽浙总督，主办船政。1884年马江战败后，为防法国侵略者卷土重来，清廷特命左宗棠赴闽督办军务。他亲赴康山庙祭祀战神。法国军舰窜入马祖澳，再次来犯。左宗棠亲临闽江口指挥炮战，驱走侵略者后，他又到康山庙题匾谢恩。
镇闽将军兼闽浙总督古尼鲁布，海军耆宿、民国初的福建省长萨镇冰和海军部长陈绍宽，政要陈培琨等都先后到过康山庙题字赠匾祭神。
台海信众谒祖地
康山周边区域旧称易俗里。自古就是著名旅游胜地。五代闽国时，这里寺庙林立。有三昧院、宝月院、东报国院、东林院、浦华严院、多宝院、东岳庙。康山东南侧，宋代时是“东禅寺”，康山是其景点之一，筑有“秉兰堂”。每年三月三，榕城的骚客文人多在此聚会。宋熙宁二年，福州郡守程师孟吟诗，描写当时如诗似画的风光：“出城林径起巷烟，白马遗踪俗尚传。第一僧居兰若处，几番身醉荔枝前。百年骚客来闲寺，三月游人作乐天。更爱堂前迎太守，路头先坠碧云鞭。”
古代康山庙溪流环抱，绿树成阴，百鸟栖息，游客如云。如今虽荒草萋萋，但仍有老树护庙，环境清幽。东郊林立的寺庙多已毁灭，惟康山古庙硕果仅存，尤应珍惜保护。
康山古庙最后一次修建是在清光绪年间，迄今仍保存宏大的筑构。庙宇殿堂分为前、中、后三进：一进为戏台、看台、廊道；二、三进为殿堂宫苑，中间有天井。共有九座殿宇，十几根高大石柱刻有不少名人题写的楹联。庙墙还残存栩栩如生的人物壁画。台面保存古代巨形凶猛的水生物雕刻。古庙规模宏伟，气势壮观，在福州庙宇中实属少见。