1903年（清光绪二十九年）6月23日，出生于河南荥阳。张伯声的祖父半农半商。父辈兄弟五人，除三叔随祖父经商外，其余都以教师为业，兼事农耕。父亲张铭宸，为河南省议员，南阳中学监督；母亲杨氏，终生为农。张伯声为长子，有两个弟弟。他幼年就学于农村，经常参与农事，深知农民疾苦，受当时新思潮影响，决心学好西方科学技术，为民众服务。[1]
1913年，进荥阳县城高小学习，喜爱自然地理。[1]
1917年，考取开封留学欧美预备学校，同年进北京清华学校学习。[3]
1919年，他被学校破格选送清华学校深造。
1926年，被保送赴美留学。先在威斯康辛大学化学系学习，后又转入芝加哥大学。[1][3]
1928年3月，他报考芝加哥大学地质系研究部，开始跟随著名的岩石学家约翰逊教授、构造地质学家坎伯仑教授攻读地质系专业。次年，张伯声转入斯坦佛大学地质系研究部，受到地质学家维里斯教授、布莱克卫尔德教授的精心指导。[3]
1929年，张伯声转入斯坦佛大学地质系研究部，受到地质学家维里斯教授、布莱克卫尔德教授的精心指导和亲切教诲，学业大有长进。
1930年5月，因家事被迫中断学业回国。[3] 同年被聘为焦作工学院（现中国矿业大学，河南理工大学）[6] 地质、岩矿学教授。
1931年，被聘为交通大学唐山工学院（现西南交通大学）教授。
1932年，被母校河南大学聘为理学院教授，讲授普通地质学、构造地质学、矿物学和岩石学等课程。他在母校任教时间仅1年，但他教学认真、重视实践的科学态度却给师生留下了十分深刻的印象。
1933年，任河南大学教授。1936年任北洋工学院教授。[1]
1937年，他跟随北洋工学院内迁西安，到由平、津各大学联合组成的西安临时大学任教。
1938年，被聘为西北大学教授，次年兼任西北大学地质系主任。[7]
1942年，他参加民主党派“九三学社”。
1949年初，驻西安的国民党军政要员南逃，他同当时的西北大学校长、著名古脊椎动物学家杨钟健却一直守护着学校。[3]
1950年，张伯声参加豫西地质矿产考察时，他在中岳嵩山南麓的嵩阳书院下面小沟中，发现深变质的太古代杂岩和元古代古英岩之间存在着明显的角度不整合接触面，遂进行了认真观察描述，并把该不整合面所代表的地壳运动命名为“嵩阳运动”。