在17世纪的雇佣军中，一些年纪较大而可靠的士兵，可被免除低级、繁重的和站哨等勤务，二等兵一词便是对这些略享优待士兵的称呼。
1859年，在普鲁士的炮兵中曾设过此衔。第二次世界大战中，德军士兵在军中服役长达12年之久，为解决士兵的待遇问题，决定将兵衔增设为四级。
民国时期，蒋军士兵的一级，低于一等兵。
当今，亦被台军所沿用，并规定：二等兵服役满六个月晋升一等兵，一等兵服役满一年晋升上等兵。
二等兵是美军士兵的一级，低于一等兵，高于新兵。