中国共产党一贯重视人民群众武装力量的建设。在历次革命战争时期，都在县、区建立人民群众武装的领导机构。
土地革命战争时期，各革命根据地普遍建立军事部或赤卫队委员会。1928年7月，根据中国共产党第六次全国代表大会的决定，各地党委设立军事委员会。同年10月，在县党委设立军事科。1929年5月，区苏维埃建立赤卫队委员会，领导全区赤卫队工作。1932年，革命根据地县、区赤卫队委员会以及相应的机构普遍改为军事部（赤卫队部），负责本地区赤卫队、少年先锋队和部分主力红军的军事行动指挥。
抗日战争时期，各抗日根据地分别建立自卫队总指挥部、人民武装委员会、武装科或武装部。1942年，晋察冀根据地北岳区首先将这类机构统称为人民武装部。主要任务是领导和指挥游击队，发动群众，开展游击战争，并负责动员工作。
解放战争时期，有的军区在县设立人民武装部，主要负责动员群众参军参战、支援前线和维护治安，保卫胜利果实。
中华人民共和国成立后，为统一领导和管理民兵工作，并为实行义务兵役制打好基础，自1950年6月起，从中央军委至地方区政府一级，曾设立人民武装部。后几经易名，县级以上各级人民武装部分别改称动员部、处、科。1954年6月，县人民武装部改称兵役局。1958年4月，撤销兵役局，恢复人民武装部。1961年起，在人民公社、大中型厂矿、大专院校等也设立人民武装部，属地方建制，配备专职人民武装干部。1986年，县（旗）、县级市、市辖区人民武装部大多改归地方建制，其性质和任务不变，工作人员改为地方干部，着统一制式服装，佩戴人武工作专业符号。根据中国共产党中央委员会、国务院、中央军委决定，从1996年4月1日起，将地方建制的县（旗）、县级市、市辖区人民武装部收归军队建制。
人民武装部在革命战争时期，领导和组织人民群众参加游击战，为配合和支援主力部队作战，巩固和扩大革命根据地，发挥了重要作用；在社会主义革命和建设时期，为搞好民兵、预备役建设，做好兵役工作，密切军队与地方关系，增强军民团结，完成战备、治安任务等，作出了重大贡献。[1]
主要职责包括：负责民兵组织建设和民兵、预备役人员的军事训练、政治教育，组织民兵完成战备和治安执勤任务；负责兵役登记和兵员征集，协同有关部门做好退伍军人安置、预备役军官和士兵登记、烈军属优抚工作；组织和领导人民防空；拟制动员计划，做好动员准备工作；组织民兵抢险救灾，参加社会主义建设；战时负责实施兵员动员，组织民兵参军参战，保卫后方，组织支前。[1]