秦及汉初，尚书是少府的属官，是在皇帝身边任事的小臣，与尚冠、尚衣、尚食、尚浴、尚席合称六尚，因其在殿中主管收发（或启发）文书并保管图籍，故称尚书。
汉武帝刘彻时，进一步强化君权，政事不专任二府（丞相府、御史大夫府），尚书因主管文书，省阅奏章，传达皇帝的命令，地位逐渐重要。武帝游宴后庭，为便于出入宫禁，用宦者主管尚书事务，称为中尚书令，简称中书令，又兼谒者之职，因称中书谒者令。但在宦官为中书时，也有士人任尚书之职，如张安世曾于武帝时任尚书令，五鹿充宗于元帝时任尚书令。元帝时，宦官弘恭、石显先后为中书令，“权倾内外”。由宦官典尚书的制度，受到大臣激烈反对。到成帝建始四年（公元前29年），终于专用士人。由于尚书在西汉已成为政府机要部门，所以凡是掌握实权的大臣都领尚书事，如霍光以大将军领尚书，王凤以大司马领尚书。
汉光武帝刘秀鉴于西汉晚期的权臣专政，有意削弱相权，太尉、司徒、司空居三公高位，名为宰相，而实际权力则逐渐移于尚书。当时，尚书机构称台，有令、仆射各一人，尚书六人，分主六曹（或说为五曹六尚书，其中三公曹置尚书二人）。令、仆射之下有左、右丞各一人，“掌录文书”，并检查各项事务是否按时完成。尚书之下有侍郎三十六人，分属六曹，主起草文书；又有令史十八人（每曹三人），主抄誊文书。此时尚书台已成为组织复杂的机构，成为政府的中枢，号称中台。所以章帝时韦彪说：“天下枢要，在于尚书。”但是在东汉，尚书台仍然算是少府的下属机构。尚书令、仆射、尚书等官的禄秩都较低，令秩千石、仆射、尚书秩均六百石。
三国时，尚书台已正式脱离少府，成为全国政务的总汇。令、仆射、尚书品秩已经很高，并为第三品，与九卿同级。汉献帝时，曹操执政，荀彧为尚书令，曹操征伐在外，荀彧常居中持重，可见此官地位之重要。但正是因为它威权的升高，引起最高统治者的疑忌，所以最高统治者又开始剥夺它的权力。
曹操为魏王时，置秘书令，典尚书奏事。其子曹丕（魏文帝）代汉称帝后，改秘书令为中书令，又置中书监，并掌机密，下统中书郎若干人，组成中书省。魏明帝时，中书监、令号为专任。于是在尚书台之外复有中书省，而原来作为皇帝侍从的侍中也逐渐成为参预机密的要职，尚书台不再有独占机枢的地位。虽然如此，由于全国政务首先集中到尚书台，因此它作为全国行政总汇机构的趋势仍在继续发展，执政重臣也要加上录尚书事的头衔，才能过问机密。
孙吴略仿曹魏，也是尚书、中书并置。蜀汉则沿袭东汉，尚书之权甚重。
西晋沿袭曹魏，以尚书台总揽政务，而别置中书、门下二省以分其权。然尚书令、仆射仍是全国行政部门的首脑，称为端右、端副，地位在中书监、令和侍中之上，重臣当国仍必加录尚书事。
东晋以后，录尚书之权渐分，有时以三四人并录尚书事。