中国人民解放军第三十八集团军的前身是1946年8月编成的东北民主联军第一纵队。该军的主力112师是彭德怀所率领的湘军独5师第1团于1928年发动平江起义创建的中国工农红军第五军，1930年以红五军为主的红三军团一举攻克湖南省省会长沙市，这是十年内战时期红军攻下的最大城市。红三军团，是当时的中央苏区红军两大主力之一，抗日战争中编为八路军115师343旅686团，参加了著名的平型关战役。1939年编为山东区第1师随罗荣桓进军山东，创建敌后根据地。抗战胜利后编入八路军山东军区第1、第2师，陆续出关进入东北。此后山东军区第1、2师与东北军起义的第111师编为东北民主联军第一纵队，李天佑任首任司令。1947年改称东北野战军第1纵队。在东北解放战争中，1纵以“三下江南”“四战四平”名扬天下。
在解放战争中，1纵是东北野战军的三个猛虎军之一，是四野的头等主力，以善打大仗、硬仗著名。在黑土地与国民党军美械装备的精锐部队作战战功显赫，打了不少成名仗。“四战四平”是三十八军的第一个成名仗。
辽沈战役结束后，1948年11月，1纵改称为中国人民解放军第三十八军，所辖第1师改称第112师，第2师改称第113师，第3师改称第114师。同时将辽北独立第10师划归三十八军建制，改称第151师，有近5万人，并组建了炮兵，工兵和汽车部队。接着迅速入关，参加平津战役。三十八军在平津战役中担任天津主攻，率先突破天津城防，歼灭国民党军2.7万，活捉天津警备司令陈长捷。主攻天津成为三十八军的第二个成名仗。在向全国进军的路上，三十八军还参加了宣沙，衡宝，广西，滇南等大小战役。在整个解放战争中，三十八军从中国最北的松花江边一直打到云南中缅边境，纵横5000公里，转战11个省市，歼敌16余万，攻占大小城市100余座，解放了半个中国。
1950年，三十八军随十三兵团首批入朝参加抗美援朝战争，军长为梁兴初。在第一次战役中，因三十八军在与美第1骑兵师步兵第5团遭遇时，动作迟缓，贻误了战机，梁兴初被彭德怀在志愿军高级作战会议上骂了个狗血喷头，并说：“再贻误战机，我要送你上军事法庭”。
在第二次战役中，三十八军在军长梁兴初指挥下，担负关键的穿插重任。第113师大胆冒充李伪军溃退部队，14小时急行军70余公里,赶在了全机械化的美军前，成功穿插三所里与龙源里。337团3连以果敢动作抢占松骨峰[7] ，一举切断了美第8集团军南撤退路；激战两昼夜,不顾敌疯狂突围，死守阵地，打退美军多次进攻，使敌南北两部相距不到1公里却始终无法会师,迫使其大部转道新义州才避免了全军覆灭的下场。此役，三十八军共歼敌1.1万余人，缴获坦克14辆，大炮200余门，汽车300余辆。一举扭转了整个朝鲜战局。第二次战役是三十八军的第三次成名战，也是使该军名扬天下的战役。志愿军司令彭德怀在嘉奖电的最后亲笔写下“第三十八军万岁！”从此“万岁军”名扬四海。《谁是最可爱的人》这篇曾列入中学教科书的报告文学，就是作家魏巍采访三十八军335团的“松骨峰阻击战”的英雄事迹写成的，为志愿军赢得了“最可爱的人”的赞誉。