1926年冬，考入黄埔学生军。次年夏，升入黄埔军校第七期预科。1929年毕业于中央陆军军官学校第七期。在中央军校军官教育团任分队长、连副、教导第二师连长。随部参加蒋、冯、阎中原大战的陇海路战役。入中央军校附设宪警班学习，中途辍学重返部队。
1932年,任八十七师五二二团团副，参加淞沪抗战。旋入陆军大学第十一期学习，以第一名成绩毕业。入陆军大学研究院第四期，留任兵学教官。1937年，调任第十五集团军司令部参谋处第一课课长，从此追随陈诚，受其器重。抗战期间历任武汉卫戍司令部参谋处少将副处长，第九战区司令长官部参谋处长，陆军六十七师一九九旅副旅长兼第三九七团团长，十一师参谋长，第六战区司令长官部参谋处处长,军事委员会政治部部长办公厅副主任，十八师副师长兼第六战区司令长官部办公室主任、干训团教育处长、第八军第五师师长、中国远征军司令长官部副参谋长，十八军第十一师师长，军政部人事处处长兼后勤总司令部人事处处长，军政部驻新疆供应局少将局长。
率部参加苏南抗日游击战役和鄂西会战，力挫日军。协助司令长官，军政部长陈诚处理抗日军事指挥和军事干部训练等事宜。
1946年7月，刘调任国民党政府国防部第一厅第一处处长，副厅长。次年，升第五厅代厅长、厅长，掌管国民党军队编组训练事务。以陆军大学第十一期毕业生为基干，参与编织国民党军事系统中以陈诚为中心的小集团，被圈中人评为“朋党比周，排挤人才”，“局度太小”，“非为总长(即参谋总长陈诚)帮忙，实足败乃公事”。
1948年6月，出任新编第五军军长(10月改番号八十六军)驻防山海关。在北宁路抵抗解放军不果，退驻天津。以东局子为重点，守备河东阵地。因属嫡系而有虚骄之气，表示要行连坐法防守天津。
1949年1月11日，人民解放军送达司令员林彪签署的致天津守军指挥官陈长捷，林伟俦、刘云瀚的信，劝告放下武器，限12日晚答复。3人复以“放下武器是军人耻辱。如果共谋和平，请派代表进城商谈"以示拒绝。14日，解放军发起总攻，次日下午，攻占天津。陈、林被俘，他脱逃南下。