孔子死后第二年（前478年），国家将其所居之堂屋“立为庙岁时奉祀当时仅有“庙屋三间内藏孔子生前所用的衣冠、车服、礼器。[6] 初期的孔庙仅有孔子故宅三间，其后裔在简陋的故宅中奉祀孔子，依庙建宅。孔子的嫡系长支为奉祀孔子，原住在阙里故宅，称“袭封宅”。随着孔子地位及其子孙官位的升高，孔氏住宅日益扩展。 共39张 孔府风光
曹魏时期，又于庙外“广为屋宇，以居学者”，设教讲学。
宋仁宗宝元年间（1038-1040年），开始扩建孔府，封衍圣公后，另建新第，称衍圣公府。北宋末期，孔氏后裔住宅已扩大到数十间。
金朝时期，孔子后裔住宅在庙东已有“客馆”、“客位”、“斋堂”、“宅厅”、“恩庆堂”、“双桂堂”等建筑。
洪武十年（1377年），明太祖朱元璋诏令衍圣公设置官司署，特命在阙里故宅以东重建府第。[4] 弘治年间，孔庙遭火灾。弘治十六年（1503年），明孝宗敕旨大修阙里孔庙和衍圣公府，由内阁大学士、太子太保李东阳监工，孔府遂又改建。孔府在明正德以前不在曲阜城内，在县城以外，距城10里。[7]
嘉靖年间，为保卫孔府孔庙，明世宗下令迁移曲阜县城，移城卫庙。经十年时间建成曲阜新城，城墙高耸，外有很深的护城河，孔府、孔庙居于曲阜城中，奠定了现孔府的规模。[7] 孔府
道光二十三年（1843年），因建筑年久失修，孔府多有倒塌，清政府又作了一次“因旧为新，不废基制，不浮于费”的小型修建。[8]
光绪九年（1883年），孔府大火，烧毁了孔府内宅七座楼房之后，清政府于光绪十一年（1885年），又在原有基础上进行了一次较大规模的重建，耗银八万余两，这是孔府在封建时代的最后一次大规模修复工程。[1]
随着清王朝的衰败，衍圣公府建筑也逐渐残破。康熙年间所建的“兰堂”、“九如堂”、“御碑楼”等先后倒塌无存。[9]
辛亥革命推翻清王朝后，民国期间（1912-1949年），孔子嫡裔仍受前代荣典。孔子的七十七代孙孔德成改为“大成至圣先师奉祀官”，给予特任待遇。
民国二十五年（1936年）孔德成结婚时，对孔府作了一次较全面的整修。[10]
孔府基本上是明、清两代的建筑，包括厅、堂、楼、轩等463间，共九进院落，是一座典型的中国贵族门户之家，有号称“天下第一人家”的说法。[11] 是孔子嫡系长期居住的府第，也是中国封建社会官衙与内宅合一的典型建筑。孔子死后，子孙后代世代居庙旁守庙看管孔子遗物，到北宋末期，孔氏后裔住宅已扩大到数十间，到金代，孔子后裔一直是在孔庙东边。随着孔子后世官位的升迁和爵封的提高，孔府建筑不断扩大，至宋、明、清达到规模。孔府占地约7.4公顷，有古建筑480间，分前后九进院落，中、东、西三路布局。[12] 孔府正门