秦置有散骑，又置有中常侍。其散骑之职为侍从御驾左右，专司对皇帝劝善规过，议兴议革；中常侍得以出入宫禁，常从侍帝之左右。 汉沿袭秦制，由士大夫充任，没有定员，都是加官，一般加给列侯、将军、卿大夫等官爵之上。戴武冠，都加饰银珰附蝉为文，貂尾作饰，称作貂蝉。后汉裁减了散骑，中常侍改由宦者充任。魏文帝黄初年间，又设置了散骑，与中常侍二者合而为一，直接称为散骑常侍，又由士大夫充任。[3][4]
散骑常侍在曹魏时职能与东汉的中常侍职能相近，都是高才英儒担任，接替了西汉时期尚书直接接受皇帝诏书执行临时任务的权限，与东汉中常侍负责诏狱相仿。曹丕曾经专门下诏解释他任用散骑的目的：通过担任散骑受到历练，然后出任地方治理州郡。[1] 像东汉中常侍审理李云、杜众谏阻案件一样，在魏明帝时期，曹睿把谏阻的张茂也下散骑审理。
晋置散骑常侍四人，处理章表、诏命、优文、策文等事，虽然隶属门下，而实际上另成一省，潘岳说的“寓直在散骑省”正是指这个省。另外，散骑官有六：散骑常侍之外，有员外散骑常侍，无定员，因为魏末，有的散骑常侍列在员外，因而有了员外散骑常侍之名。晋太始十年，帝常命二位员外散骑常侍合作当值，因而有了通直散骑常侍之称，并定置四人。从魏到晋，又与散骑常侍同时置散骑侍郎四人，与散骑常侍、黄门侍郎共同处理尚书奏案，东晋废除了此职。晋武帝时，还置有不定员的员外散骑侍郎。又有通直散骑侍郎四人。东晋把中书省合并入散骑省，所以庾亮《让中书笺》说：“现今省署合并，不宜多置官员。过去把中书政务并入散骑，这是恰当的作法。现今皇帝喉舌的要务职在门下，表章诏命则职在散骑，实在没有再设立中书省的必要。”晋散骑官职任很重要，与黄门侍郎同称为“黄散”。《晋令》称：“散骑常侍为三品，冠戴貂蝉，绛色朝服，佩水苍玉。”[3][4]
宋置四人，亦作为加官，任职时间长，地位重要，一人为祭酒，管领六散骑；另外还设集书省统管各散骑之职务。齐沿袭宋制但裁减了祭酒之称号。梁沿袭宋制而加俸粮至满二千石，后来定为第十二班，高功者一人为祭酒，与散骑侍郎一人分左右对掌禁令。自宋以来，散骑之职用人杂乱，所以其官也降低了地位。宋大明中，虽比照侍中之标准选任散骑职官，但到底也未能使其职显位重起来。天监六年，帝下诏称：“散骑常侍、员外散骑常侍、通直散骑常侍都是清望要官，应当依照过去的规定改革选制。”于是，散骑常侍被视为与侍中相同，通直散骑常侍被视为同于中丞，员外散骑常侍被视为同于黄门侍郎。陈沿袭梁制。后魏散骑常侍置于集书省，为二品：太和末年改为从三品，管领六散骑。北齐置六人，其他与后魏相同。后周散骑常侍为加官。[3][4]