唐王勃名句"雁阵惊寒，声断衡阳之浦。"宋王安石诗联"万里衡阳雁，寻常到此回。"均指此峰，因而名扬天下。古潇湘八景之一"平沙落雁"即在此处。南朝梁天监十二年（513），山上建云禅寺，隋改名为雁峰寺。唐建寿佛殿，供无量寿佛像。明修有望岳亭、宫室寺、此君轩、望江楼等。清建大雄宝殿、大悲阁、摩云舍、望雁楼、指月寮等建筑。峰前有烟雨池，"雁峰烟雨"为古城衡阳八景之一。1944年，日军侵入衡阳，山上古林殿阁惨遭焚毁，仅存一座寺门和半间佛殿，寺门上"上达"二字相传为清代一高僧所书。1985年，回雁峰被辟为公园，占地约0、19平方公里。峰前新开辟的雁峰广场中心建有大雁雕塑，高10米，为衡阳市城徽。广场正面是一座雕梁画栋的仿古门厅，匾额"南岳第一峰"为赵朴初题写。峰上重修望岳台、雁峰寺，复原观天池、此君轩。峰顶新建曲廊、雁壁、雁亭、碑廊、茶榭、寿佛殿、观音殿等。