程大位是明末著名的数学家，因著书《算法统宗》，被推崇为中国“珠算鼻祖”。故居位于屯溪区内，建于明正德年间（1506--1521），距今已490年历史。坐北朝南，两进三间砖木结构二层楼房，马头墙、小青瓦，典型的明代徽州民居建筑。故居的大门为内外门楼，上饰精美的徽州砖雕，门内为天井，晴天可望蓝天白云，雨季可观屋檐雨水流汇，四水归堂。故居为两层，一脊二党三开间，东西厢房列两边，建筑面积五百多平方米。
底层设瞻仰堂，前堂为客厅，立有程大位画像和悬挂六角宫灯，横梁上“程大位故居”匾额为著名数学家苏步青教授所题。左右壁挂有关程氏“师生问难”、“大量桌车”等10幅生平丹青。后堂有周恩来等人有关珠算内容的题词照片，有当代数学家苏步青等题词匾额。两厢为程大位及家人住房。楼上大厅内陈列有古今中外各式算具200多件，质地有金、银、象牙、玉、石、瓷、木等多种；式样有龟纹、八卦十余样；还有程大位著作、程氏宗谱及各种珠算资料、图片。在众多展品中，最令人瞩目的是形状各异的算盘，大者有81档，1.75米长，小者如戒指算盘，仅2厘米长，具有较高观赏价值和文物价值。国内外珠算专家和珠算爱好者、研究者，纷纷前来参观游览，亦将其作为珠算研究的中心。是安徽省重点文物保护单位。
故居西侧为祀祖楼，五开间，倚主楼而建。故居入口处，就势建庭园一座，名曰“宾园”。程大位号宾梁，故名之。园内有回廊、草坪及花圃。回廊小泾，花草山石，景致幽雅。墙垣窗户均为算盘图案，既具特色，又体现故居主人“珠算宗师”的身份，构思巧妙。
