沱江镇作为江华的县城已有近550年的历史，豸山这一风水宝地也就成了豸山寺建于明朝万历四年(1576)距今四百余年。豸山寺有两个独特的地方，一是佛、道、儒三教合一的建筑格局。古代这一片建筑依次是佛教的豸山寺观音阁、道教的吕祖阁、儒教的文昌阁，一字排开，连为一体。现在我们看到的是1984年县城从水口镇回迁沱江镇之后重建的格局。左边是豸山寺，右边是望江楼，还有前面建于民国年间的代表俗文化的六角凉亭——望江亭，为古今义渡小憩之所。吕祖阁与文昌阁毁于历代兵火，早已不复存在。

走进山门，我们可以看到它的第二个独特的地方，就是豸山寺建于岩隙中，可以说是镶嵌在豸山的山体里面，我们沿着山势走进观音阁，可以直达山腰岩腹。这就是所谓的“山中有佛，佛在心中”。在山顶，是江华的两个省级文物保护单位之一——凌云塔。凌云塔建于同治八年(1869年)，距今一百三十余年。建塔的初衷是为了镇住一方文运不随江水流去，所以又叫“文塔”。凌云塔为砖石结构阁式建筑，塔身7层，高21米，八方四门，俊俏挺秀，集佛教、伊斯兰教之建筑风格于一体；塔的外形为中国传统建筑形式，斗拱、出檐、起翘为中国建筑特点；塔内部为中空穹窿顶曲线流畅，属西方建筑手法、伊斯兰建筑风格。此塔可谓中西和壁之建筑，有专家称豸山为全国独有的“四教合一”的圣地。凌云塔高距峭壁之上，位于县城的制高点，登临远眺，县城全貌尽在眼底，是重九登高的最佳去处。清代有文人题诗赞曰：“天造奇峰境最幽，睛光倒影漾江流……两河到此岩横峭，胜景悠然万古留。”