來雁塔位於石鼓區合江套三汲礬上，與雁峰區回雁峰遙相對峙，故稱。據清乾隆《衡陽縣志·古跡》載：“萬歷辛己（1581），宗伯曾朝節倡郡人建浮屠其上……經十三載而告成。”其後，清嘉慶、道光、同治及民國年間均曾修茸，基本保持明代建築風格。來雁塔系樓閣式磚石塔，座北朝南，七級八楞，中空，通高36米，底邊長7.3米。塔置於須彌座石基上，塔基施圖案雕飾。門額為漢白玉石質，中镌“來雁塔”三個大字，系清同治年間兵部尚書彭玉群書丹。塔旁原建有山門和雙練、印湘二亭，均廢壇；寶瓶於1944年部分毀於戰火。1989年，市政府對來雁塔進行全面維修，修復了塔體、塔檐以及各層檐角和塔頂上的鳌魚、獅、龍、卷草等堆塑，復原了寶瓶、垂帶踏跺和二、三級外檐上的石欄桿，恢復了山門。時，市長蘇健民作《續修來雁塔記》，由文化局長李正南書丹，镌碑嵌於第一級門洞左壁。