来雁塔，衡阳名胜之一，距市中心约3公里，与回雁峰对峙，寓雁有来回，故名为来雁塔，该塔兴建的目的是用以导航，类似今日的航标灯塔。塔基为垒石构成，塔身用青砖砌成。整个塔体内为楼阁式，共七层，呈八角形，高28米。塔的第一层东南设门，南向拱门上嵌有清兵部尚书彭玉麟手书“来雁塔”横额的汉白玉碑一块。从第二层起塔身逐级递缩，塔的每层皆设有对称神，开两窗四门，可凭远眺望。塔檐为叠座，下无斗拱，外壁饰石图案。拱门上有石质龙凤浮雕。塔角旧有风铃，塔上有铁顶，置相轮。整个塔的结构突出了明代的建筑特点。此塔自建成后，历经多次修缮，保存至今。现为省级文物保护单位。

据清乾隆《衡阳县志·古迹》载：“万历辛己（1581），宗伯曾朝节倡郡人建浮屠其上……经十三载而告成。”其后，清嘉庆、道光、同治及民国年间均曾修茸，基本保持明代建筑风格。来雁塔系楼阁式砖石塔，座北朝南，七级八楞，中空，通高36米，底边长7．3米。塔置于须弥座石基上，塔基施图案雕饰。门额为汉白玉石质，中镌“来雁塔”三个大字，系清同治年间兵部尚书彭玉麟书丹。塔旁原建有山门和双练、印湘二亭，均废坛；宝瓶于1944年部分毁于战火。1989年，市政府对来雁塔进行全面维修，修复了塔体、塔檐以及各层檐角和塔顶上的鳌鱼、狮、龙、卷草等堆塑，复原了宝瓶、垂带踏跺和二、三级外檐上的石栏杆，恢复了山门。时，市长苏建民作《续修来雁塔记》，由文化局长李正南书丹，镌碑嵌于第一级门洞左壁。来雁塔于1959年和1974年两次公布为市级文物保护单位，1983年10月10日被公布为省级文物保护单位。