夏商周时期，清河境内是淮夷、徐戎活动范围。
春秋战国时期，境内先属吴、越，后归楚国。
春秋末，属吴。吴被灭后属越。周贞定王二十四年（公元前445年），楚国屡侵泗水流域，淮阴归属时越时楚，后来终属楚。
秦王政二十四年（前223年）秦灭楚，始设淮阴县，属泗水郡（一说属东海郡，也称郯郡），淮阴县治所设在甘罗城（在今码头镇东北一里许，相传为秦上卿甘罗所筑）。
西汉初，分出淮阴县西南地域置富陵县（今洪泽湖内和洪泽、盱眙的部分地区）。高祖六年（前201年），封韩信为淮阴侯，淮阴为其封邑。十一年，韩信被杀，淮阴侯国取消，仍称淮阴县。武帝元狩六年（前117年），置临淮郡，淮阴、富陵为其属县。
王莽篡汉，改淮阴为嘉信，并改临淮郡为淮平郡。
东汉初并临淮郡入东海郡，淮阴县属之，且撤富陵县，其地入淮阴县，永平十五年（公元72年）分临淮郡故地立下邳国。建安十一年（206年），下邳国名废除，仍为临淮郡，淮阴属之。
三国时属魏，魏承汉制，没有变更。
晋武帝初，仍属临淮郡。太康三年（282年），移广陵郡治于淮阴，至晋元帝渡江，广陵郡移去，其间共三十四年。
东晋永和八年（352 年），荀羡以北中郎将徐州刺史镇守淮阴。
南朝刘宋泰始三年（467年）淮河之北被北朝占领，刘宋于淮阴侨置兖州镇，七年（471年），改称北兖州。 萧齐建元四年（482年），兖州镇移去。永明七年（489年）复立东平郡于淮阴，领寿张、淮安二县。
梁改为淮州，郡治淮阴故城，县改称怀恩。太清三年（549年），侯景以萧弄璋为北兖州刺史，州民发兵拒之，于是淮阴复称北兖州。侯景派直阁将军羊海帮助萧弄璋，羊海带着队伍投降东魏。东魏踞淮阴，仍称淮州郡怀恩县。
陈太建九年（577年初）， 恢复县名为寿张。再立东平郡。
隋初，复为淮阴郡，不久废淮阴郡为淮阴县。大业初（605年），并淮阴于山阳（今淮安区） ，山阳兼并淮阴从这时开始。