“舍人”一词见于《周礼》，据称掌理王宫中用谷之政务，计其人数多寡、爵秩高下，以定禄食用谷之多少。[1] 从史料上看，战国时期，达官贵人的门客中受主人信用者，一般称为舍人，如李斯为秦相吕不韦舍人，毛遂为赵国平原君舍人，蔺相如为宦者令缪贤舍人，此即《汉书·高帝纪》颜师古注所谓：“舍人，亲近左右之通称也。”[2] 也有观点认为，这些舍人是战国、秦时贵戚官僚属员，类似宾客，为主人亲近私属，说法不一。[3] 至汉代演变为正式职官。太子太傅、少傅属官及皇后、公主属官皆有之。同时，大臣仍有私养舍人者。卫青即有舍人百余人。[4]
至东汉，桓帝延熹二年（公元159年）置秘书监，掌典图书，古今文字，考核异同，属太常。因其执掌禁中图书秘记，故称秘书，后省。曹操为魏王时置秘书令，典尚书奏事，兼掌图书秘记。[5] 两汉以后，随着尚书台地位的提高，尚书专权的现象开始出现。曹魏初年，魏文帝为了牵制日益发展的尚书令的权力，将原有的秘书监改为中书省，其首长称中书令，负责审理章奏，草拟诏旨，执掌机要，甚至有时皇帝密诏下州郡及边将，不再通过尚书省，直接由中书省发出。这样，原属于尚书省的出纳王命、敷奏万机之权，逐渐移向中书省。[2]
一种说法认为，三国魏首先在中书省设置了“中书通事舍人”，其具体过程，则是先设置了中书通事，至曹髦时在“通事”下加“舍人”二字。[6] 但也有一种说法认为，在曹魏，舍人与通事是两个不同的官职。[7] 西晋时，于中书省置舍人、通事各一人，[6] 东晋时方才合舍人、通事谓之通事舍人，掌呈奏案章，后亦罢废。[8][9][7]
据《通典》记载，南朝宋初，复置中书通事舍人四人，入直阁内，出宣诏命，凡有陈奏，皆舍人持入，参决于中，实权日重，中书侍郎之任遂轻。南齐永明初年，中书通事舍人四人各住一省，当时称之为“四户”，权势较重，中书监令反倒成了清闲之职。[7] 不过，按《旧唐书》的说法，魏晋南朝至梁武帝之前，诏诰均出自中书监或中书令之手，中书通事舍人只负责呈奏，只不过若中书通事舍人长于文字，则皇帝可能特别敕令他参与诏诰的起草。[6]
南朝梁时，令中书通事舍人专掌诏诰起草，并在官名中除通事二字，直称中书舍人。此后，中书舍人参预机密，权势日重。[7] 大体在同一时期，北魏、北齐均设有舍人省，置中书舍人，掌署敕行下、宣旨劳问等，亦以中书舍人掌制诰。[10]
隋唐时，中书舍人在中书省掌制诰（拟草诏旨），多以有文学资望者充任。隋先改称内史，隋炀帝时曾改称内书舍人。[7]