日本1945年在第二次世界大战战败投降后，军队被解散，军事机构被撤消。
1950年朝鲜战争爆发，在驻日盟军总司令部（GHQ）的指示下，日本政府于该年8月10日组建直属于总理府（今内阁府）的“警察预备队”。
1952年4月26日，日本政府成立隶属于海上保安厅的“海上警备队”，之后于同年8月1日成立保安厅，为总理府的外局，并将警察预备队与海上警备队统合分别改组为保安厅统辖的“保安队”与“警备队”。这两个治安部队，实际上都具有准军事组织的性质。
1954年新建航空自卫队，同年7月颁布《防卫厅设置法》和《自卫队法》，将保安队、海上警备队分别改称为陆上自卫队和海上自卫队，将陆、海、空三军正式定名为自卫队，并成立了防卫厅和参谋长联席会议，健全了统帅指挥机构。[3]
朝鲜战争期间，日本作为美军战略后勤军备基地为美军提供了大量物资装备，还有一定数量的日本人以“军夫”的名义随美军到朝鲜的战场上，担任后勤、扫雷等任务。冷战时期，日本自卫队主要根据《日美安全保障条约》辅助美军行动。1970年代，日本确立了“重视海空，海上歼敌”的指导思想，大力发展海上军事力量。1990年代之后，日本自卫队逐渐开始增加独立军事行动，并且开始向海外派员参与任务。
2005年11月22日，日本当时执政的自由民主党在东京举行建党50周年纪念大会，并正式公布了其提出的宪法修改草案。草案的核心内容是抛弃了现行宪法中日本不得拥有陆海空三军等武装力量的规定，要求将自卫队升格为“国防军”，并规定“国防军”可以作为“确保国际和平而展开国际合作活动”。
2006年3月27日，日本自卫队成立统合幕僚监部（相当于总参谋部），取代过去的统合幕僚会议（相当于参谋长联席会议），开始执行新的作战体系。此前，陆海空三个自卫队分别由各自的幕僚长（相当于参谋长）分别进行指挥，同时辅助防卫厅长官工作。在新的体系下，陆海空各部队的幕僚长将辅佐统合幕僚长（总参谋长）指挥部队。同年6月20日，时任日本首相小泉纯一郎正式宣布从伊拉克撤出陆上自卫队，但他也同时强调将扩大航空自卫队在伊拉克的活动范围，承担更多的责任。