1777年西班牙殖民者建立居民点，是加利福尼亚州最早的移民地；1849-1851年曾为州府，Josiah Belden是当时的第一任市长，圣何塞并作为淘金者的商品供应地；1864年铁路通旧金山，该地发展为圣克拉拉谷地农产品的集散和加工中心。
在1900年到1910年，在约翰•蒙哥马利（英文：John Montgomery）的带领下，圣何塞成为科技创新中心，对航空航天的发展有一定贡献。1906年加州旧金山发生地震，圣何塞的房屋受损，一家医院在地震中倒塌，有超过100人在地震中死亡[5] ，经济受到影响。市经理荷兰•哈曼（英文：Dutch Hamann）于1950年代和1960年代时带领圣何塞进行了一项大成长计划。在这计划里，圣何塞兼并了许多邻近地区，如艾维西欧和坎布莱恩公园，增加了许多可容都市发展的市郊。对这急速发展的反应是1970年代时产生的“反成长”(英文：anti-growth)意见，这政策也被后来的市长诺曼·峰田（英文：Norman Yoshio Mineta）和珍妮特·格雷·海斯（英文：Janet Gray Haye）所采取。尽管规范了“城市成长范围”(英文：urban growth boundary)、开发费、以及坎贝尔和库比蒂诺城市的成立来限制成长，圣何塞的发展并没有慢下来，发展重心转移到圣何塞既有地区。圣何塞在硅谷的位置也带动许多经济和人口增长，造成1976与2001年间市内房价急速成长达936%，是全国增长最快的地方。1990年代，在1974年的城市成长范围得到保留，选民否决了限制山丘发展的提案后，增加城市密度的政策也被延续。1980年的60%与2000年超过75%在圣何塞新建的住宅为多住户建筑，反映了聪明成长(英文：Smart Growth)的都市计划政策。
城市位置北纬37°20′07″ 西经121°53′31″，处于环太平洋地震带，城市总面积180.0sqmi (466km)，其中水域面积3.4sqmi (8.8km) (1.91%)。[6] 平均一年有一到两次地震。其中1839, 1851, 1858, 1864, 1865,1868, 和1891的地震震感强烈。
一年平均301天晴，平均气温15.8摄氏度，年平均降水量401.8mm，属于半干旱气候类型。[7]