唐永微二年（651）县治迁于今址后，即筑堤以保县城安全。清同治《丰城县志·河集》有“唐永徽间，始迁县治，即筑堤由张家埠至宝气亭、阳灵观、周四十余里”的记载。宋乾道九年（1173）闰一月十一日，著名诗人范成大经过丰城，他在《骖鸾录》中写道：“过丰城县，小舣宝气亭”。由此可见，建在江边最大名胜古迹的宝气亭，是文人雅士过往旅客必登之所。亭中原有唐代宰相李德裕（字文饶）在开成元年（836）夏，南谪途经丰城时所作的《剑池赋并序》石碑，以及宋代天圣八年（1030）新堤建成后，黄痒（字世父）的堤记，即是黄庭坚诗中所说的：“泪落世父碑，心倾文饶赋”。南宋嘉定十六年(1223)，因居民失火，宝气亭被烧毁。很快又为县令唐容“因旧址而得新之工，间数月，而亭成规模，轮焕宏阔伟丽。”并靖陆渐写了篇《宝气亭记》，与诗人陆游在丰城写的《丰城剑赋》相映成辉。《宝气亭记》中曰：“宝气亭独据县津，以为观瞻怀企之所，实一邑之胜概也。”

元至元年间（1264—1294），宝气亭改建为剑江驿楼，成为驿舍与纪念物合二为一的建筑。大德年间（1297—1307），富州（丰城升为州）州尹刘秉懿将宝气亭修缮一新，正式定名为剑江驿楼。不少著名人物登临宝气亭楼，如元代学者吴澄《剑江驿楼》诗云：“人生南北几驿亭，相过岂复能忘情”等句。这些诗人们怀古叹今的吟咏之所。明代以后，宝气亭在原来的基础上进一步扩建，分离出剑江驿。明万历十一年（1583），署县事陶以诗（名世安）建宝楼于文明门城上，为课文之所。时丰城许多著名诗人都喜欢在宝气楼结社赋诗，仅在万历年间《剑江倡和诗》集中，就有徐即登、雷映、邱士毅等人，多次在宝气楼雅集诗作15篇。他们在此或赏“平沙雁写落木瘦，万山翠林斜阳明”；或吟“野航凌浩淼，平楚问青葱”。到清代乾隆年间时，宝气亭仍有厅、堂三间、有廊、鼓楼三间、厅左有丞舍三间，楼悬“宝气弥津”匾额。到清末后，宝气亭渐废于兵火，如唐钟毓、陆如照等诗人的《访宝气亭》、《宝气亭怀古》中，尚能追忆“指点斜阳楼，低徊古驿岐”等伤感的诗句。