1949年9月27日，中国人民政治协商会议第一届全体会议通过《中华人民共和国中央人民政府组织法》。该法第十条规定政务院设司法部，规定司法部是国家司法行政机关，主持全国的司法行政事宜。
1949年10月30日，根据《中华人民共和国中央人民政府组织法》，设立中央人民政府司法部。
1949年12月20日，中央人民政府委员会批准了《中央人民政府司法部试行组织条例》。
至1950年，全国各级司法行政机关在改革旧的司法制度，建立健全地方各级人民法院，建立律师公证制度，创办政法大学，培养法学、法律专门人才，培训司法干部，开展法制宣传等方面做了大量工作，为巩固人民民主政权，促进社会主义革命和建设作出了积极的贡献。
1952年7月16日，在中央司法部成立了由司法部和最高人民法院组成的中央司法改革办公室。
1953年4月，第二届全国司法工作会议后，中央司法部的机构作了调整，内设办公厅、普通法院管理司、专门法院管理司、干部管理教育司、法律宣传司和专门委员室。
1954年8月13日，随着各大行政区及大区司法部的撤消，司法部发出《关于各省与中央直辖市审判机关与司法行政机关分立问题的意见》，要求河北、山西等18省和京、津、沪三市立即建立司法厅（局），其它各省逐步建立司法厅，主持司法行政工作。
1954年9月21日，第一届全国人民代表大会第一次会议通过《中华人民共和国国务院组织法》，改称中华人民共和国司法部，同时在全国各大行政区成立了行政区司法部，大行政区撤销后，又陆续建立了省、自治区、直辖市司法厅、局，地区、市一级设有专管司法行政工作的机构。
1955年11月2日，司法部第261次部务会议决定改进工作方法和调整机构，机构设置改为办公厅、普通法院管理司、运输法院管理司、人事司、教育司、公证律师司、法令编纂司及财务处、人民接待室。
1957年8月9日，国务院第56次全体会议决定撤销全国的铁路运输法院和水上运输法院，据此，司法部也相应地撤销了运输法院管理司。
1958年6月13日至8月20日，在第四届全国司法工作会议上，司法部领导成员遭到错误批判。
1959年，全国司法行政机关被撤销，直至“文化大革命”结束，这种状况延续了20年。