北周开始设置的区域性军事管理机构。魏晋以来，逐渐形成一些军事指挥区域，即都督区。其长官称都督，都督例兼所驻某州的刺史，兼治军民。大区都督常兼管数州，称为“都督诸州军事”。
东晋王敦为江州刺史，镇武昌，都督江、扬、荆、襄、交、广六州军事，即以长江中游为中心，直至岭南地区均归其指挥。南北朝承魏晋之制，均有都督之设。如北魏有都督中外军事、都督府州诸军事、都督三州诸军事等。北周明帝武成元年（559年），始改都督诸州军事（疑为都督州诸军事）为总管，总管兼任所驻州刺史，并统辖邻近各州。诸州都督府改称总管府。偶有以一般总管身份辖数州总管之例。
北周总管府大部分置于武帝时。建德六年（577年）北周灭北齐，于北齐旧地增置一批总管府。总管府的设置，或在都会之地，或处守御之要。北周总管府中，洛州、并州、相州最重要。北周武帝平齐后，于相、并两州总管府各置行宫及六府官，即冢宰、司徒、宗伯、司马、司寇、司空府，取代北齐之大行台（见行台）。后废并州六府。大象元年（579年），移相州六府于洛州，称东京六府。河阳、幽、相、豫、兖、青、徐七总管，皆受东京六府统辖。
隋代总管府分上、中、下三等置于诸州。其中统辖数州及至数十州的俗称大总管，如秦王杨俊为并州总管，管二十四州诸军事，后改授汉王杨谅。杨俊转任扬州总管，镇广陵，管四十四州军事。元帅杨素任信州（奉节）总管，经略长江上游，总管全蜀兵马。大业元年（605年），鉴于汉王杨谅以并州总管起兵，炀帝下诏废除诸州总管。唐代初于缘边及襟要地区的一些州治置总管府，领军出征者为行军总管或大总管。武德七年（624年）改称都督府，而行军总管及大总管不变。
南北朝时期，由于政局常变，多以武人出任地方行政长官，此风沿至隋时影响仍存。总管府作为州级政区之上的政治建制，既管民政，又管军政，甚至拥有中央授予的州县官员任罢权力。
总管府统管数州军、民之政，史例很多。各总管府所管州数不等，但基本稳定。例如：杨俊于开皇十年（590）出任“并州总管、二十四州诸军事”，即并州大总管府统领24个州级政区，东界抵太行山井陉口。 而在此前，作为亲王的杨俊曾出任“秦州总管，陇右诸州尽隶焉”，即陇山以西诸州均隶于秦州总管府。开皇九年，又转任“扬州总管、四十四州诸军事，镇广陵”。另一位亲王杨秀于开皇元年受任为“益州刺史、总管，二十四州诸军事”。韦洸于开皇九年进图岭南地区，被“拜为广州总管”，统24州。北方沿边地带诸总管府统州之数较少。如：达奚长儒于开皇二年“起为夏州总管、三州六镇都将事”。夏州总管府仅统三州：夏、银、盐。营州总管府仅管营州，兼理东北少数民族事务。云州总管府只统二州十镇诸军事。周摇于开皇初被“拜为幽州总管、六州五十镇诸军事”，仅统六州。因史书记载简略，其余诸总管府统州之数目无从查考。
隋代总管府是地方上最高统治机关，但其本身又有等第之差。一般分作上、中、下三等；若是亲王出任某府总管，则该总管府被列为“大”等府，这仅是少数特例。开皇末年，大总管府有四：益、荆、扬、并。关于总管的品秩，则根据总管府的等次而有所差别。上等府的总管，为视从二品；中等府的总管，为视正三品；下等府的总管，为视从三品。品秩不同，其俸禄待遇、车骑服饰自有差别。总管府与诸州的上下隶属关系既已明确，其等第品秩地位也已清楚，则其兼管军、民两政的职能昭然若揭。关于总管府治理民事，《隋书》记述颇多。譬如：韦世康任荆州总管，“为政简静，百姓爱悦，合境无讼”。尔朱敞就任徐州总管，“在职数年，号为严肃，民吏畏之”。乞伏慧任荆、潭、桂三府总管期间，江湘之地“其俗轻剽，慧躬行朴素以矫之，风俗大洽”。而令孤熙在桂州总管府任内，“为建城邑，开设学校，华夷感敬，称为大化”，可见深得民心。这充分表明：总管府是隋朝地方行政体制的最高层级。