歷代揚州城的修建都與動亂和戰爭的背景有關。考古專家蔣忠義舉例說，元末，揚州城又遭一次兵火浩劫，“城中居民僅余十八家”。朱元璋到揚州後，看到大城空曠難守，於元至正十七年(1357年)十月，利用了宋大城西門與西城牆的南半段，南門和南城牆的西半段，重新修築了北城牆和東城牆。城內只把唐羅城最精華的中心河道與南北大街的南端包進城中，使整座城變成一座南北狹長的小城。嘉靖三十五年(1556年)，為防倭寇又增築外城。自此，明代揚州有新舊兩城，其中，至正年築的城為舊城，嘉靖年築的城為新城。新舊明城范圍奠定了今天揚州老城規模。

《揚州畫舫錄》記載：“按今之舊城即宋大城之西南隅，元至正十七年，丁酉，佥院張德林始築之……今之新城，即宋大城之東南隅，明嘉靖三十四年，乙卯，知府吳桂芳始議興築。”《明史》記載，“吳桂芳字子實，新建(今江西省新建縣)人。嘉靖二十三年(1544年)進士”。揚州地處東南沿海富庶地區，自然是倭寇騷擾的主要對象。吳桂芳上任伊始，一方面組織軍民抵御倭寇；另一方面又考慮在原有城池之外加築一外城，始能長治久安。於是在嘉靖三十四年(1555年)建議增築外城(即後來的新城)。《明史》記載：“揚有二城，自桂芳始。”