孔府位于孔庙的西侧，站在孔庙大殿的高处，透过宫墙，已经能看到隔壁的屋顶。不过，作为景区，这两处并不相通，而且还需要单独购票，游客通常会购买三孔套票。
从孔庙的东门出来，来到宫墙外的一条老街，名为阙里街，由此可进入到孔府景区。孔府又称衍圣公府，是孔子的世袭衍圣公居住的府第，现存建筑始建于明洪武十年（1377）。
大门上方悬挂“圣府”匾额，大门后还有二门，上面挂着“圣人之门”，然后是一座屏风样式的仪门，称作“重光门”。绕过重光门，后面为大堂，是衍圣公迎接圣旨、处理重大公务的地方。大堂前的天井十分宽敞，里面的苍松翠柏看起来颇有些年头。
大堂后面为二堂，又称退堂，是衍圣公大堂礼毕后的小憩之处。大堂和二堂之间的通廊两侧摆放着红漆靠背长凳，为明代遗物，已存放数百年。严嵩的孙女嫁给六十四代衍圣公孔尚贤，是孔家的姻亲。严嵩因贪腐被御史弹劾，曾跑到孔府请衍圣公向皇帝说情，坐在长凳上等待接见被拒。严嵩人称严阁老，后人便将此凳俗称为“阁老凳”。
二堂后面还有三堂，是衍圣公处理宗族内务的地方。再往后就是内宅门，它是前衙和后宅的界限，门内就是衍圣公家眷居住的地方，以前外人是不得擅入的。如今已变为景区，游客这才有幸目睹。
内宅门后面的第一栋为前上房，是孔府接待至亲和近支族人的客厅，也是举办婚丧嫁娶礼仪的场所。向西拐入到花厅，此处是眷属活动的地方。
穿过花厅、学屋来到后堂楼、后东楼和后五间。后堂楼原为衍圣公内眷居住的地方，现被布置为七十七代嫡孙孔德成婚后生活的场景。后东楼是女仆的住处，后五间则为衍圣公读书处。
孔德成也是三十一代即最后一代衍圣公，随着辛亥革命的胜利，延续几千年的封建帝制被打破，衍圣公的爵位也失去了存在的基础。民国二十四年（1935），孔德成主动请求南京国民政府撤销“衍圣公”爵号，国民政府认为道统不可废，将其改作“大成至圣先师奉祀官”。
孙府的后部还有一座后花园，始建于明代，里面有假山水池、古树凉亭。孔子七十三世孙孔庆镕曾运来形似山峰的铁矿石，成为园中一景，所以又称铁山园。
孔子死后，其后裔住在阙里简陋的故宅奉祀孔子，并依庙建宅。随着孔子地位的抬高，孔府的规模也日益扩展，特别是到了宋仁宗时期。宋至和二年（1055），仁宗采纳大臣的建议，封“衍圣公”爵号，并令世袭，衍圣公府也由此兴建。