三八式步枪的前型是三十式步枪和三五式海军步枪。三十年式步枪仿造自德国毛瑟步枪，设计师是有坂成章大佐，以取代从中日甲午战争以后，以法国M1874步枪仿造但是不可靠也打不准的村田枪。该两种步枪也因其发明者有坂成章而得名有坂步枪。 日本三十式步枪
有坂在设计三十年式步枪时起初设定了三种口径作为研发方向：6毫米、6.5毫米以及7毫米。三十式步枪（三十年式歩兵铳）于1897年进行制式化生产，并于1903年完成日本全军更换整装。日本陆军换发三十年式步枪后，日本海军陆战队也跟着换枪，有坂成章将设计案转将给部属南部麒次郎上尉负责进行改进。南部麒次郎只进行了小改良，将表尺改为直立式，并且加上枪机盖，并命名为三五式海军步枪（三十五年式海军铳）[5][7] 。
在坦克出现后欧洲军方注意到配合坦克进攻的步兵的最佳射击距离为400米内，而非传统的六百至八百米，[1] 由此掀开了新的步枪设计理念，各国将制式步枪进行改造并将步枪缩短，成为短步枪，使其缩短射程。例如毛瑟公司将毛瑟98式步枪从1.24米调整为1.1米，苏联将莫辛-纳干步枪从1.3米改为1.2米，而受德国影响较大的民国政府也将汉阳造从原来的1.25米改为1米。就在全世界将步枪长度改短时，只有日本对此趋势不感兴趣[2] 。第一次世界大战结束后，作为战胜国的日本将法国作为陆军军事学习的对象，加以模仿。尽管法国也将步枪改短以适应配合坦克进行攻击，但法国军界仍认为坦克等机械化车辆只是辅助步兵作战的武器，真正决定战场进攻胜负的是类似马奇诺的要塞堑壕火力支撑体系[2][5][7] 。
1904年至1905年日军在中国东北战场上使用的三十年式步枪，常有有一种细小的沙尘进入操作机关内，导致操作不良，三十年式步枪另外有根很容易折断的撞针。根据实战情形在日俄战争后有人提出讨论与进行改善，彼时已经升任小石川炮兵工厂研究所所长的南部麒次郎因此将枪机重新进行简化，同时在枪机表面增加了一个随枪机连动的防尘盖。然而增加防尘盖的立意虽然良好，不过却又为操作时增加了独特的金属噪音。其他改进包括在准星两侧增加护翼，三八式步枪机械瞄准具早期采用V型缺口照门，后期采用觇孔式照门。
南部很快地完成三十式步枪的改良后，于明治四十年（1907年）5月开始制式化在东京小石川炮兵工厂进行生产。虽然正式的制式化量产从1907年开始，不过南部麒次郎将新改良开发的步枪仍然以明治天皇年号第三十八年（1905年）命名；明治41年3月开始，新式的三八式歩枪逐渐成为部队的标准配备；到了明治43年（1910年），部队中的三十年式步枪就全面被三八式步枪取代[5][7] 。