历史上的县背岭就是当年的上牌楼往北的方向，一条长长的胡同，大约两百米左右，再往北下坡就是被称作薛谭庙的地方。这与今天的位置相比，在占地上是很少的，只是一条胡同而已。至于为什么称之为“县背岭”，一般的说法就是靠近县衙，在当年衙门的上方，也就是背部，而且是当年是位置比较高的地方，就像县衙是躺靠着背椅，而且有土坡，所以“县背岭”的称呼就逐渐的叫出来了。 县背岭
说起县背岭这段历史，这里的老人们还是记忆深刻的。说现在的县背岭是看不见当年的繁荣的，而且今天的城镇建设很多的古建筑都已经没有了，即使还存在的一些建筑，也许在不久的将来也要消逝。
对于现在称呼的“县背岭”范围太广，老人似乎耿耿于怀，还说了一段趣闻，当年他家的位置就是在县背岭外面，是被称之为“上牌楼”的，离县背岭不远。当年他写信给外地的亲戚，回信按理说投递上牌楼是不会错的，但是这时这一片已经全部改为县背岭。邮递员根本不清楚什么上牌楼，于是信件打回亲戚那里。后来他去亲戚那里，亲戚问起这件事还以为他们搬家了呢，为此亲戚之间还很长时间闹别扭。
说起县背岭，今天还有的老建筑已经是很少了。在当街靠近马路的地方，在大路上就可以看见的，有一幢不同一般徽派建筑的窗棂，整体上是有着西洋样式的结构，尽管它也是盖瓦的，但是独特的缺少那种飞檐。老人告诉我说这是英式的建筑，是民国时期汪姓的人建的，当年他留洋归来在政府里干事，就是住在他家隔壁汪老娅的父亲（汪老娅八十年代在碧阳小学教学），据说做官还不小呢。
比较有名就是往北方向去有一户的人家，是一座典型的八角门坊的徽派建筑，祖上是清朝时期是在杭州做绸缎庄生意的，到了民国时期程巧元的时候，他乐善好施，广开善事，周济周边的百姓，特别是引进西药治好不少人的病，名声很好。
其实这房屋原先并不是程巧元祖上的，程家实际的住处是在桂林一带，即莲花芯那一片。
这里一般是属于黟城的另一户大姓——余姓。这里就是当年的黟城首富余灶发的家，当年的县城要建设，其中他独一户捐资修建城中的道路，把大街铺上石板。
按理说一般是近水楼台，从自家开始修建，但是他没有，而是从上牌楼靠近县背岭的地方开始往下把大街上全部铺上石板，所以县城的石板是很多的。小时候我们就看见过很多的街巷都是石板的，而且是花岗岩的石板，因为靠近县城的山上盛产这样的石头，今天的西街还比较完整的保留着石板路，就是当年他修建的。不过后来他并没有修到自己的家门口，就是到了西街为止，离自己的家大概才百米左右，这时候家庭突遭不幸，经济衰落，无法承担这样大的工程了，这项事情也就罢工了。按理说这么大的家业怎么这么快就坍塌了呢？这就是当年让鸦片害的，加上子孙不屑于经商，吃喝玩乐，坐吃山空，所以就垮了。当时县城有这样的一句话：余家好祖宗，程家好子孙。可见后来余姓比不上程姓是有说法的。