台湾当局原先在县之下仅有乡、镇两种行政区。但台湾日据时期为平衡区域发展，在东部设立花莲港、宜兰两市。由于其人口未达台湾当局所定省辖市成立标准、但重要性又高于镇，因此于1946年《台湾省各县市实施地方自治纲要》中，在台湾省境内制定“县辖市”行政区作为折中。1950年代，新竹、嘉义、彰化、屏东等省辖市亦并入县，成为县辖市。
早期县辖市的人口门槛规定为5万人，后又修改为10万人，首先符合并改制者为台北县三重镇（今新北市三重区），20世纪90年代县辖市的人口门槛又擢为15万人。1981年再修订“县政府所在地”亦得设立县辖市（如澎湖县马公市、南投县南投市、嘉义县太保市等），但有特例为嘉义县朴子市：由于1993年新成立的嘉义县县政中心跨越太保乡及朴子镇，而县政府位于太保，自然可改制为市。但县议会位于朴子，在地方要求下亦比照改制为市。应注意的是该法限定县辖市仅在台湾省运作，故台湾当局实际领有的金门县县治金城镇、连江县县治南竿乡皆不适用之。
1999年1月13日起，相关法规改适用《地方制度法》第3条。在地方制度法第4条第5项中，废除“县政府所在地得改制为县辖市”的条款，但注明已成立者不溯及既往。
2015年，台湾方面修订县辖市人口门槛，由原先十五万人改为十万人以上的乡镇，得改制为县辖市。
县辖市为地方自治团体之公法人，自有行政及立法机关，市民可直选市长、市民代表，任期均为4年。
县辖市之下设里。里长由里民依法选举之，里长任期为4年。
依据《地方制度法》第四条第四项，人口聚居达十万人以上未满五十万人，且工商发达、自治财源充裕、交通便利及公共设施完全之地区，得设县辖市。
到2011年为止，台湾当局共设有17个县辖市，其中以桃园县拥有5个县辖市为最多，而桃园县县治桃园市人口达40.6万人，是台湾人口最多的县辖市；反之，嘉义县县治太保市人口仅约3.6万人，是台湾人口最少的县辖市。但2014年因桃园县升格为台湾的直辖市，原有乡镇县辖市都改为区，所以县辖市数目又降。
2015年中，台湾的苗栗县头份镇、彰化县员林镇，皆因人口达十万，改为苗栗县头份市、彰化县员林市。
以往曾有部分县辖市因人口众多及高度都市化，而有自行在辖区内划分行政区的情形，如桃园市、中坜市等。但此种分区仅便于政务推动，不具法理意义。