“黝”、“歙”二县的县名，来自于古越语地名的发音。[44]
新安郡，一说以祁门县新安山为名，一说取其安定之意。[44]
徽州名称的由来，一说因绩溪有徽岭、徽溪，一说“徽”为美义。其实“徽”字本意为“绳索”、“捆绑”，以其命名，表达了宋王朝在经过“动荡”之后，企望对这片土地加强约束和统治。从此，直到清宣统三年（1911年）的790年间，作为州府名，徽州这一名称一直没有变更。[44] 唐时，睦州雉山县人（今浙江省杭州市淳安县）陈硕真发动起义，在攻打歙州徽城时，兵败被俘。到了北宋，其同乡方腊再次揭杆而起，并顺利占领歙州。方腊起义失败后，北宋王朝以歙州治所徽城（其城前小溪为徽溪）之名，改歙州为徽州。[130]
1987年11月，国务院发出《关于安徽省调整徽州地区行政区划的批复》，撤销徽州地区、屯溪市和县级黄山市，设立地级黄山市。至此，徽州走进了中国古地名名录。[130]
黄山市文明的源头可以追溯到距今5000多年前。从歙县、祁门等地出土的文物表明，今黄山市一带早在旧石器时期就已有先民生活。而在新石器时代，这里的先民们已创造原始土著文化。
1959年至1975年，屯溪西郊奕棋村附近先后发现8座土墩墓，出土一批青铜器、陶器、原始瓷器、玉石件和漆器残件等，经文物考古工作者研究，这些墓葬的时代是西周时期。根据墓葬形式和器物分析，应属于当时生活在这里的古越族。说明在约3000多年前，这一带古越文化已相当发达。[44]