汉武帝时进一步强化君权，以主管文书的尚书掌握机密要政。为便于出入后宫，用宦者担任，称为中尚书，简称中书，又因兼谒者之职，故又名中书谒者。其长官有令、仆射。汉宣帝末弘恭为中书令，石显为仆射；元帝时石显为中书令，牢梁为仆射，均专权用事，为朝臣所恶。成帝时废除由宦者担任中书之制，此后至东汉末，改以士人为尚书。尚书台独掌枢要，地位日益崇重。但专制主义的封建统治者总要防止臣下的权力过大，以免威胁到自身。 中书省印
东汉末，曹操受封为魏王后，在建置魏国百官时，便设立秘书令，典尚书奏事。魏文帝曹丕即位后，改秘书为中书，设监、令各一人，监、令之下置中书郎若干人，于是中书省正式成立，其官员由士人充任，与西汉时用宦者充任的中书不同。从此以后，中书省与尚书台并立。原来由尚书郎担任的诏令文书起草之责，转由中书省官员担任。中书监、令的品秩虽低于尚书令、仆射，但与皇帝的近密程度过于尚书，故机要之权逐渐移于中书省，尚书台的地位因之削弱。三国除曹魏外，孙吴亦设中书，置令、郎，但其制与魏制稍有不同。蜀汉不详。
西晋以后，历代都沿袭曹魏立中书省，只有北周实行六官制，无中书之名。但其春官府有内史中大夫、下大夫等职，即相当于中书令、侍郎的职务。隋代废六官制，置内史省，即中书省。炀帝末又曾改名内书省。唐初亦名内史省，武德三年（620）始复名中书省。高宗龙朔二年（662）改称西台，咸亨（670-674）初复旧；武后光宅元年（684）改名凤阁，中宗神龙（705-707）初复旧；玄宗开元元年（713）改名紫微省，五年，复旧。自魏晋以后，中书省是与尚书省、门下省鼎立的三省之一。 中书省印章
宋代时设中书门下为最高行政机构，最高长官行使宰相职权。[1]
元代以中书省总领百官，与枢密院，御史台分掌政、军、监察三权。门下、尚书两省皆废，故中书省较前代尤为重要。地方行政一部分亦由中书省掌握。边远地区，设十一个行中书省分区统辖。
明初沿用，洪武十三年（公元1380年）废中书省，由皇帝直接统领六部，并规定此后朝廷不得再立丞相，中央集权得到进一步加强,明永乐帝时设内阁，机要之任开始归“内阁”。此后即无中书省这一机构。