明朝开国以后，便在苏北设立淮安府，下辖山阳（今淮安市）、清河（今淮阴县及清河区、清浦区部分）、安东（今涟水）、盐城、桃源（今泗阳）、沐阳、海州（今连云港市）、赣榆（今邳州市）、宿迁、瞧宁十一州县，治山阳县。洪武元年（1368），知府范中以淮安路屯田打捕总管府为府衙，加以修葺，便在里面办公。
淮安是兵家重地，朱元璋在这里设了四个卫（淮安、大河、邳州、宽河，后二卫后迁别处），卫指挥使多侯伯摄之。淮安卫指挥使华云龙因功封为淮安侯，权势尤重。他看中了淮安府衙，因这里雄踞一城之中，有类皇城大内格局。淮安府当然拧不过这位侯爷，只好搬家大吉了。洪武七年（1374）华云龙以擅用元宫中禁物，被皇上将他从北平召回，结果死在半道上。便府衙却一直为淮安卫占据着。
洪武三年（1370），新任淮安知府姚斌在城中选址，结果选中了上坂街北边的五通庙和元沂、郯万户府，便加以修建改造，作为淮安府的新府衙，一直沿用到清末。
据史料记载，淮安府署大的维修有如下一些：
成化三年（1467），“知府扬昶彻而新之，祭酒周洪谟为记”。
正德五年（1510），正堂及经历司毁于火，照磨所倒塌，只好用“布席”围起来临时使用。这次维修时，邑人潘埙曾作《重修淮安知府记》。据记，大堂即创于洪武三年。正德五年被火毁后，知府华琏决定修复而未果。以后继任知府刘祥、罗循均因年荒兵乱而未能修建。正德八年（1513），薛继任，他“治人如已，治官如家”、“三议五请，上下既协”，于正德十年（1515）正月开工，四月即落成。修复了正堂和经历、照磨二厅，“台廉甬道易砖以石，门屋榜廊撤旧换新”。当时正堂上置匾两块，一曰“公正”，另一曰“镇淮”。
康熙十八年（1679），“各属捐资重建”。
乾隆五年（1740），知府胡振组“修内署”。
咸丰中，大堂又毁于火，咸丰十年（1860）修复。当时的漕运总督王梦龄兼任河道总督，他于道光年间做过一任淮安知府，修复府衙是他的急务之一。主事者是淮安府通判署理知府事的陶金诒。所用木料是从河下盐商程梦鼎（1862—？）住宅中进厅堂上拆来的。程氏宅因其孙政扬犯事籍入官，嘉庆间改为盐务淮北批验大使公署，后因纳盐改票，程氏族人请以此宅归公助修府城而未果。咸丰元年（1851）又请划归普济堂，因与捻军打仗而又未办成。咸丰十年修府衙，程式氏又请撤料助工，于是类似扬州何园那样的潭潭巨宅，立即夷为瓦砾场，而府堂始成。
经过历次维修，淮安府衙的格局基本固定下来了，占地总面积近2万平方米，三百余间房室。内部房屋历代毁建和用途多有变化，现根据清末情况简述如下。大门面南临街，前有七丈长的照壁，东西有牌楼，极为闳壮。西牌楼在府市口，东牌楼在报恩寺（今电影院）前，各四柱，金丝楠木制成。石础径可六尺，柱高二丈余，矗立云表。东牌楼曰“长淮重镇”，西牌楼曰“表海名邦”。毁于清末。整个建筑九分中东西三路，中路为正房，除大门、二门外，有大堂、二堂两进。再往内为官宅之门，入门为上房，为知府等人住宅。上房后有楼，亦曰镇淮楼。大堂为知府处理公务之处，东西长七间26米，南北宽五间，深长18.5米，脊高10米，高大雄伟，气势恢宏。
