大约距今2万年以前，灌云境内大伊山一带就有人类生活，在朝阳（现属市区）等旧石器时期遗址中，发现简陋的工具，证明当时先民们已学会同自然作斗争并能从事简单的劳动。[5]
据《尚书·禹贡篇》记载，上古时期灌云境属“东至海、北至岱、南至淮”的徐州之域。
西周时地属兖州。
春秋战国时期，属郯国，归越地，旋为楚域。
秦时是朐县的一部分，先后分属薛郡、郯郡。
汉代属东海郡。南北朝时，南朝宋武帝改朐县为朐山县。东魏孝静帝武定七年（549年）首设海州于龙苴（今龙苴镇），统辖6郡19个县，灌云县境为东彭城、海西、东海3郡的领地。 共14张 灌云县风光
北齐年间，海州首邑从龙苴迁至朐山，县境乃为海州辖地。
至隋、唐、五代十国、宋、金仍为朐山县的一部分，隶属海州。
元朝时属海宁州。
明初改海宁州为海州，朐山县撤销，县境并入海州。
清雍正二年属海州直隶州。[19]
中华民国元年（1912年）废州设县，析海州直隶州为东海、灌云二县，县治始设板浦。县名起初由议会命名为“朐东”，是延续古海州地名之意。经省府改定为“灌云”[24] 。因南带灌河水，北枕云台山，取二地名首字为县名，与东海、沭阳、赣榆合称海属4县，属徐海道。
民国二十二年（1933年）3月，江苏省划十三督察专员行政区，灌云属东海行政区辖地。
1935年，国民政府将东海县、灌云县各划出一部分成立连云市，区域：临洪口以南，烧香河以北，东至东西连岛，西沿临洪河新浦、板浦以东为范围。为江苏省第三个省辖市和全国较早的省辖市（民国时期市县平级）。[34]
民国二十八年（1939年）日本侵略军占领灌云县境，成立日伪县政权。
解放战争时期，属苏、皖边区第六行政区，民国二十九年（1940年）8月共产党领导的抗日民主政权灌云县政府成立，隶属于苏皖区党委第二地委。
民国三十年（1941年）曾一度改为东灌沭办事处，隶属于淮海专员公署。