渔浦书院来之不易，光绪初年，阳和地区除几家私塾外，只有渔浦一所义校，其房5间。学人李绍华由澧县回乡讲学。鉴于桑梓文化闭塞，教育落后，即是富家子弟也须到外地书院深造，遂与乡贤李长卿、张宗铠、田金楠等募资建“渔浦书院”。光绪九年（1883年）秋，约集乡绅商计集资办学事宜，获准建校。当天李长卿置酒集客，酒半，谓众曰：“我里高资率不逾三传而破败相踵。君等凭藉前荫，损志益过，群谤所的，何若更私货力，为子孙以令乡校之兴？”李当即率先捐款100万。接下，李绍华捐田100担，光洋500元。绍华又动员其伯叔李祖松、祖柏、祖春、祖桂等各捐田100担。另有张、王、朱等富户也相继乐捐田产、钱财，共计得租田932担6斗5升，作为固定校产。另经公义，将附近溪口镇商厘税每串钱抽100分之20作为办学经费。经费落实之后，乡人公推李绍华、李长卿主持建院工作。 渔浦书院
二李不负众望，特请外地高明地理先生选地，选来选去，最后选择渔浦寨岗前坪的北角为院址，但此地是廖姓祖茔，经多次协商，廖姓同意由书院购买，定址于此。接着组织监造人员及工匠等去岳麓书院参观，决定仿照该院样式修建。自烧砖瓦均在砖上铸有“渔浦书院造”字样，大兴土木。当地群众出力、献料者，非常踊跃。群策群力，到光绪十二年丙戌（1886年）孟秋，即全部落成，占地8000平方米。报经省宪批准，正式定名为渔浦书院。竣工之日，县长亲临，唱戏庆典。
书院主体为木结构，伴有风火隔墙，分正殿、东西二斋、藏书楼、彰义祠和教学楼5大部分。另有八角亭、校门亭及生活用房等。院内配有内外柏树园和鱼池。正殿有两进，中间用过道连接，其过道深17米，宽12米，高4米。道的左右各有天井、花坛。东西两斋前各设一墙壁，中间空出一操坪。坪的两侧至今尚存古柏十株，苍劲挺拔，生机盎然。校门前面设左右两舍，门两旁均亦有风火隔墙。头门墙上，有“忠孝廉洁”四个大字，据载仿照岳麓书院门前的大字做成。大门横额“兰芷芬芳”四字，楹联为“渔猎群经，导扬百氏；浦云十色，溪月九霄”。两边侧门额上写有“入德之门”。二殿匾额为“菇溪撷秀”，门联是“他年新人物，从此诞生；今日小学堂，愿诸努力”。大门前有石级20阶，下了石级，即是约1000平方米的长方形操坪，以垣墙围住。彰义祠在东斋之东，系一四周围住的楼台式建筑，其匾额是“州壤雄风”。藏书楼位于正殿右后高台处，为两层楼房。整个书院建筑布局合理，宽敞明亮，神采飞扬。
书院建成之后，延聘在南京讲学的著名学者阎镇珩任山长兼主讲，李绍华掌管校务，讲师有何伯次、何尧次、向廷佐等。名师望重，九澧各县青年，闻风就读者，为数甚众。
书院大门是“门虽设而常关”，遇有重大喜庆，方打开大门，平时都从“入德之门”进出。书院考试制度非常严格，每逢开考，即封锁各门，考试时将试题放在竹筒里，学生取题作答。书院教学内容采取中西结合，并奖励优等学生；一级奖金1000串，二级500串，三级300串。阎镇珩主讲三年后，由县邑知名学者田金楠继任。书院一仍旧贯，文风不衰。因经费较为充裕，师生伙食均由校方供给。由于办学成绩优异，光绪皇帝赐有大“典”一个，有重大事情如孔夫子诞辰、进考场等就打“典”。