1951年12月，美国洛克希德公司的首席设计师凯利·约翰逊前往韩国的美军空军基地，听取F-86战斗机飞行员的意见。飞行员们希望新战斗机应该是比现役战斗机更轻、更廉价、速度更快、升限更高、爬升率更大、并具有良好机动性。回国后，凯利说服洛克希德管理层投资研制一种新型战斗机：简单而易操纵，轻型廉价，性能优于现役的战斗机。1952年11月，洛克希德公司正式启动自行投资发展轻型战斗机项目。美国空军未就该项目表态[2] [5] 。 F-104A战斗机
1953年1月，美国空军“武器系统303A”项目招标揭晓，洛克希德的轻型战斗机原型中标。1953年3月12日，美国空军和洛克希德签订合同，要求生产两架原型机供验证评估，并赋予空军飞机编号XF-104，洛克希德公司内部设计代号083-92-01[6] 。
1954年2月7日，第一架XF-104（生产序号：53-7786）原型机出厂，被运往爱德华兹空军基地。 F-104三线视图
1954年3月26日，XF-104试飞升空，在起落架收起状态下完成了第3、4次试飞。试飞中发现，XF-104原来的偏航阻尼器效率很低，使得机头在飞行中发生不稳定的左右偏摆现象。后来通过改进方向舵定中装置加以解决。
1955年12月，XF-104的1号机交付美国空军。1957年7月11日该机为一架F-104A伴随护航，却遇到尾翼颤振问题而坠毁。
1954年7月，美国空军向洛克希德订购17架YF-104A预生产型用于试飞。
1956年2月，第一架YF-104A（55-2955）出厂，在严格保密情况下运抵爱德华兹空军基地。1956年2月17日，该机由洛克希德试飞员赫曼·菲斯·索曼驾驶进行了首次试飞。
1958年5月7日，霍华德·C·约翰逊少校驾机在爱德华兹空军基地上空进行动力跃升飞行，最大飞行高度达到27813米，创造了一项世界高度纪录[7] 。
F-104战斗机最初设想的作战模式是在超音速状态下巡航（开加力状态，和现代“超音速巡航”完全是两种概念）和空战，高空高速性能成为重中之重。为了实现设计目标，凯利·约翰逊采用了新的设计。 F-104战斗机
F-104的薄机翼和同时代的米格-21的机翼前缘半径对比，即使同样注重高速性能，F-104的机翼前缘半径仍然要小得多。