西周时县大于郡，《逸周书作雒》：“千里百县，县有四郡”；《左传》哀公二年：“克敌者，上大夫受县，下大夫受郡”。春秋时代一些诸侯国为了加强管理而置县和直接任命一些不得世袭的官员为地方官。后来晋又在国内置郡。由国君任免地方官，这制度使分散的权力层层集归中央，防止因分封而导致分裂。至战国时代这种制度逐渐为各强国采用，逐渐减少分封于贵族的地区。
县制起源于春秋时期的楚国楚武王熊通。熊通，先楚熊坎的次子，夺得兄长熊旬的王位自立为楚王。在三年之后便想渡江攻打西周在汉中布置的重镇，但是第一次失败了，于是回国养精蓄锐，之后吞并了周围的国力衰弱但物资丰富的权国，改权国为权县，熊通命权王做县尹。权王叛乱。楚王熊通知发兵平乱，将权王带回楚国看管，又在权县选拔人才做县尹。这是中华县制之肇始。
郡制起源于春秋时期的秦国秦穆公嬴任好。嬴任好，秦德公少子，秦宣公、秦成公之弟，被《史记》认定其为春秋五霸之一。秦穆公九年（前651），晋公子夷吾（即晋惠公）对秦国使者谈到“君实有郡县”，为秦国设郡的最早记载，也是中国历史上最早关于郡制的记载。[2]
春秋时代，随着世卿世禄制被官僚制的取代，地方组织也逐渐由采邑制转为县制-郡制。县与郡的出现，同春秋时的政治形势的发展有密切的关系。春秋初期，诸侯国内普遍实行采邑制度。到了中后期，由于土地私有制的发展和按田亩征收赋税，原有的采邑制度已不能适应新的形势。这时，一些国家在所占有的领地的地方推行由国君直接管理的县郡管理体制。最初的郡大多建于边境地区，区域虽大，地位却比县低。晋国的赵简子曾于公元前493年宣布克敌者，上大夫受县，下大夫受郡。《左传》哀公二年这是我国历史上推行县郡两级制的开端。这个时候县的建制高于郡。开始时，县和郡都是有国君派官驻守，后来为了扩大兼并和抵御外敌的需要，就成了固定的地方政权组织，有权应变边境的突发事变。发展到了战国时，随着边地日益繁荣，就在郡下分设若干个县，郡在建制上的地位高于县，并逐渐形成郡县两级地方组织。
光有中央政府机构而无地方行政机构，仍然形不成强大的封建统治网络。但建立什么样的地方行政机构，这在秦统一六国之后是经历了一场激烈争论的。以丞相王绾为首的群臣，主张沿用周代以来的封国建藩制度，分封诸皇子为王。他们的理由是有利于统治新征服的六国地区。而廷尉李斯则力排众议，主张废除分封诸侯制度，全面推行郡县制度。很显然，李斯的主张符合专制皇权和统一的要求。因而得到了秦始皇的采纳，将全国分为三十六郡。后随边境的不断开发和郡治的调整，增至四十余郡。