全国仅有的两座孔氏家庙之一，为南宗建炎初孔子第四十八 世孙袭封衍圣公孔端友率族人随高宗赵构南渡后所诏建。宋宝元年（1253年）始建，明正德十五年（1520年）迁于现址，历代 多次修葺。1998年经过全面修缮， 作为衢州市博物馆舍对外开放。主体建筑有头门、大成 门、大成殿、东西两庑、思鲁阁、圣泽楼等，为级文物保护单位。
孔庙是祭祀孔子的家庙。孔子，生于公元前551年，卒于公元前479年，是中国历史上伟大的思想家和教育家，被历代帝皇奉为圣明。衢州孔庙是全国仅有的两家孔氏家庙之一，素称"南宗"，具有700多年的历史。据史载，北宋末年，宋都汴京(今河南开封)陷入金兵之手。宋高宗赵构仓促南渡,孔子第四十八代裔孙孔端友，负着孔子和方官夫人(孔子夫人)的一对楷木像，离开山东曲阜南来，定居于衢州。宋高宗宝佑三年(公元1255年)，敕建孔氏家庙，为南宗。
孔府本名衍圣公府。位于孔庙东侧，为孔子嫡长孙的衙署。汉高祖刘邦以太牢之礼祭孔子墓并封孔子九世孙世为奉祀君，代表国家祭祀孔子。后历代不断加封，至宋代封为衍圣公。明洪武十年建立独立的衍圣公府。现有楼、厅、堂480余间，前为官衙，后为内宅。府内存有著名的孔府档案和大量文物。
