水晶宫足球的历史可以追溯到1861年，现在的水晶宫足球俱乐部则于1905年在锡德纳姆山顶的玻璃王宫成立。[13]
1905/06赛季，水晶宫加入南区乙级联赛，并在这个赛季夺得南部乙级联赛冠军，升级至南部甲级联赛。1907/08赛季，在南部甲级联赛征战的同时，还加入西部甲级B组联赛。
1917/18赛季，水晶宫队开始参加全国丙级联赛，并在1921年获得冠军并升入乙级联赛。
1924/25赛季，水晶宫队在联赛最后一轮输给奥尔德汉姆队后，惨遭降回至丙级联赛。1958年新成立了全国丁级联赛，水晶宫队成为创始会员之一。在此之前，虽然他们曾经三次夺得丙级联赛的亚军，但一直未能再升入乙级。
1960/61赛季，球队升入丙级联赛，三年后更进一步，升入乙级联赛。
1968/69赛季，水晶宫队在击败富勒姆队后，历史上首次进入甲级联赛。但在随后的四个赛季中，球队的成绩令人失望，又重新降回到丙级。但在此期间球队几乎成为第一支进入足总杯决赛的丙级球队，在接连战胜切尔西、利兹联和桑德兰队之后，在半决赛中0-2输给了南安普顿队。
1976/77赛季，在后来的英格兰国家队教练维纳布尔斯的执教下，球队再次升入乙级，并在两个赛季后升入甲级。但仅仅待了两个赛季便再度降级。
1980/81赛季，罗恩·诺兹接管了危机中的水晶宫队，他在1984年聘请28岁的斯蒂夫·科佩尔（Coppell）为主教练，希望斯蒂夫·科佩尔能在随后的7年中将球队重建为英格兰一流的球队。他们两人的密切合作使得这一目标得以实现，1988/89赛季，在升级附加赛中主场击败布莱克本队之后，水晶宫队再一次进入甲级联赛。
1989/90赛季，水晶宫队在这个赛季创造了多项俱乐部的历史纪录。球队先是在安菲尔德球场以0-9惨败给利物浦队，创造了最大的输球纪录。但在随后的足总杯半决赛中他们又以4-3击败利物浦，报了一剑之仇，在历史上首次进入足总杯决赛。尽管他们在决赛中输给了曼彻斯特联队，但伊恩·赖特在比赛中的两粒进球仍令球迷津津乐道，球队也在这个赛季中确立了在英格兰联赛中的地位。