旧《天水县志》记载，后街清真寺创自元至正年间（1341—1368年），其殿五楹，琉璃碧瓦，丹楹刻桷。
明洪武七年（1374年），后街清真寺建成礼拜大殿。
明成化四年（1468年），扩建礼拜大殿。
19世纪60年代，文化大革命期间遭到严重破坏。牌坊、山门、姆拉楼被拆、数株古槐、香柏被伐。
1970年，清真寺正门改在后街澄源巷，后通称后街清真寺。[2]
1986年，天水穆斯林群众捐资兴建后街清真寺具有阿拉伯建筑风格的东楼二层十八间。
1993年，后街清真寺又建起二层南楼，上下十二间。
2001年，后街清真寺原寺门被拆，在原方位新修了砖雕大门。[2]
后街清真寺为三进门。头道门位于澄源巷北口，为三间木结构牌楼，斗拱处竖书“清真寺”，门楣横书“渐入福地”，“诵经法祖”。二门在大寺巷内，为单檐大开间牌坊，上书“常乐界”三字，背书“抵报元功”、“清真古教”，传为康熙御题。三道门是坐北向南三大间过厅，进入寺院，古柏、大殿、木楼相互掩映，穆斯林沐浴礼拜。
后街清真寺礼拜大殿由前殿五间、后殿三间、前卷棚外廊三部分组成，通长22.3米，进深19.3米，使用面积430平方米，殿内有两根粗大明柱，系具元代减柱遗风的明代宫殿式木结构特点。后殿四面角梁起檐，屋顶暗卷接水，风格异于其它建筑。大殿屋顶以青色方砖做栅板，白灰勾缝，据古建筑专家讲，方砖栅板为典型明代建筑。大殿正门为五开间四扇门，可折可装，雕刻精美考究，上眉格为透花“金钱艾叶”图饰，构图文雅、刀法娴熟，保存完好。
后街清真后建东楼二层十八间，建筑面积450平方米，二楼为教长室、学生宿舍和教室，一楼为水房子和殡仪室。后建二层南楼，上下十二间，250平方米。楼上为妇女礼拜殿、寺管会办公室，楼下为厨房。[2]
后街清真寺大殿顶为歇山单檐，琉璃碧瓦；正脊为莲花缠枝图案，中起塔亭宝盖，兽吻吞脊，且似兽非兽，体现出伊斯兰哲学理念。铺间均为五铺下抄单下昂、柱头为四铺作出平昂，结构严谨。后街清真寺建筑结构独特，历史沉积厚重。明嘉靖十三年（1534年）《秦州重建清真寺楼碑记》赞曰：“其势嵯峨，高压岳阳斯楼也”。[2]
后街清真寺内现存石碑五通，最珍贵、历史价值最高者为《秦州重建清真寺楼碑》和《清嘉庆二十四年督宪禁止永不在寺装粮碑》。