在原始社会，人们以原始群、血缘公社、氏族、部落、部落联盟等组织为单位，进行生产、生活，没有地域区划的概念，即所谓大道之行也，天下为公（《礼记·礼运篇》）。简单地说，人既是自然的人，又是社会的人，需要在一定的地域空间上生存生活，并要与其他人打交道，为了能使大家平等和谐地共同生存下去，就需要遵守一定的规则和约束，而且还需要有人来执行这些规则和约束，即管理者。人类出现伊始，形成氏族社会，是按部落实行管理的，有亲缘关系的一群人聚集在一起。也就是说，有一群人，在一定的地域范围内、遵循一定的规则进行活动，有些人由于有身体或经验方面的优势而成为头领。随着生产力的不断发展，剩余产品日益增多，逐渐有了分工，分配也变得复杂起来，需要有人专门进行管理工作，这时人、地、管理者及规则已具备，开始有了行政区划的雏形。随着国家的产生，行政区划渐渐明确和固定下来。
行政区划随着国家的产生而产生。按地域划分行政区而不依氏族划分部落，这是国家区别于氏族组织的一个基本特点。不论何种类型的国家，行政区域的划分总要符合统治阶级的根本利益，同时顾及政治、经济、文化、民族、地理、人口、国防、历史传统等多方面的因素。随着现代社会生产力的发展，经济因素起着重要的作用。在资本主义国家，行政区域的划分是为了巩固资产阶级的政权，便于统治劳动人民，分化少数民族。
行政区划虽因国家本质不同而具有鲜明的阶级性，但也有一定的历史延续性。中国从秦代（前221～前206）实行郡县制以来，历代行政区划虽有变更，但变化并不太大。
英、法、美等国的行政区划是从19世纪继承发展下来的。另外，在同一个政权下，由于政治、经济、民族等情况的变化，在不同时期的行政区划也会有所调整和变更。20世纪70年代以来，西方国家有人倡议改革行政区划，提出了匀称、精简、协调等标准；有的还提出如何有利于提高政府工作效率和对公职人员进行管理等问题，但改革的实际措施很少。
某些国家在一级政权内部，为了实现某一单项职能的管理而划分的区域，作为一种行政区划，如美国行政区域的数目很多，其中大部分是单职能的，包括学区、司法区和其他各种专区如消防区、水土保护区、住宅区、公路区等。
国家都是按地域划分行政区。各国的行政区划有不同的划分和名称。不论何种类型的国家，行政区划的划分总要符合统治阶级的根本利益，并考虑政治、经济、民族、人口、国防、历史传统等各方面的因素。社会主义国家行政区域的划分通常根据以下原则：
①政治原则。促使国家机关密切联系人民群众，便利人民群众参加国家管理。
②经济原则。根据不同地区的经济特点进行划分，使之有利于发展社会生产力。
③民族原则。根据少数民族的居住状况和其他特点进行划分，使之有利于各民族的发展，巩固各民族的团结。这些原则是相互联系、相互结合的。此外，也顾及历史传统、人口分布、地理条件和国防需要等因素。