西尔维斯特从1833年开始在剑桥大学圣约翰学院就读，但由于他是犹太人，没有完成毕业，但他参加了剑桥著名的数学考试并获第二名。1841年他短暂在美国逗留并成为弗吉尼亚大学的教授。此后他回到英国。 詹姆斯·约瑟夫·西尔维斯特
1877年，西尔维斯特获得约翰斯·霍普金斯大学的一个职位再渡大西洋。1878年他创办了《美国数学杂志》，这是美国的第一部数学杂志。
1883年，西尔维斯特最终回到英国，他被任命为牛津大学几何教授。1892年，牛津大学又委派了一个他的副教授，但他到死占据着这个职位。
西尔维斯特尤其在哑微积上非常有造诣。
1880年，英国皇家学会授予西尔维斯特它对科学研究最高的奖章科普勒奖章。1901年，它又为了纪念西尔维斯特设立了授予数学研究的西尔维斯特奖章。
约翰斯·霍普金斯大学今天有一座学生宿舍是以西尔维斯特命名的。