秦山虽小，古迹却相当丰富。据史籍记载，秦山东首，有秦始皇刻石。《续汉书·郡国志》载：秦山“去岸百九十步，有秦始皇碑，长一丈八尺，广五尺，厚八尺三寸，一行十三字。潮水至加其上三丈，去则三尺见也”。《水经注》载其内容大体相同。据《云台导游诗钞》作者张百川考证：秦山东道碑座有云：“其碑是李斯大篆，被好古者用船装至江南。“李斯是秦始皇的丞相，自始皇令他刻石纪功之后，便开立了碑碣之风，刻字刻画始盛行全国。“丰碑隐久访嬴秦，万里洪涛莫问津。”（《云台导游诗钞》）始皇碑刻虽然仅存碑座，但到此访古，仍能激起感慨万千！
秦山岛的历史，最早可追述至东夷部落的少昊之国，是古羽山（即今云台山，古时为海中群岛，其原始居民，史有羽夷、郁夷、岛夷、朐夷诸称谓）的组成部分，以农牧为主、渔猎为辅的夷昊人，以山形称此岛为“奶奶山”，或传说系颛顼大帝抛神琴于此而称“琴山”。从出土的古陶来看，最迟在西周已有人居住，到了秦初，赣榆县方士徐福，为秦山岛的开发、宣传直至成名，起到了“开山祖”作用。因为他，秦始皇才相信“海上有仙山”“似在飘渺间”，三次东巡皆到朐界，登上了秦山，并立石为秦东门，岛名由此称“秦山”。又命丞相李斯督建“碧霞宫”、“授珠台”、“海神庙”、“龙女亭”，还立碑以祀。该碑几次被南方人偷窃时，皆被渔民发现，后来实在无法，为防偷窃，据说将其沉入海中。久无踪。汉时维持秦之遗存，唐朝佛教盛行，岛上建有观音殿、通天塔、大佛寺等，形成佛道共存一岛之格局；宋金元时毁于战火，明清逐步复建，规制已大不如前，后来日本侵略者不仅毁坏建筑，掠夺文物，还以此岛为据点，侵扰我沿海居民，至民国时，仅有渔民为佑出海平安筹资建的“天后宫”（即原碧霞宫）、“李斯碑亭”等。
五十年代末、六十年代初为防蒋台政权反攻大陆，秦山岛成为海防重地，岛内密布地下坑道网，和岛上战壕炮台组成了海上钢铁壁垒。经驻军近二十年的绿化，松树、灌木林、冬青等植被达90%以上，菜地十数亩，百余官兵，基本自给。八十年代末，驻军撤出。
2011年4月，秦山岛被国家海洋局列入我国第一批开发利用无居民海岛名录，也是江苏省首个向国家申请专项资金进行整治修复的海岛。
2018年11月，秦山岛景区被批准为国家3A级旅游景区。[1]
2021年12月13日，依据《旅游景区质量等级的划分与评定》国家标准和《旅游景区质量等级管理办法》，经景区自愿申报，各设区市文化和旅游部门推荐，江苏省文化和旅游厅组织景观质量评审并完成公示，将连云港市秦山岛景区[2] 列入江苏省2022年度国家4A级旅游景区创建名单。