寨上原有高冈庙一座，种有樟树百余株。原高冈寨上，庙宇高大宽敞、建筑雄伟。中有天井，全为熟砖结构。上厅设神坛，身穿黄龙袍的“高冈福主”坐镇其中，神坛上面有一木横匾，楷书浮雕“四国侯王”四字。左右两边各有小菩萨一尊。庙的四周有楼橹二百余间。该庙常设庙祝一人管理香火。每逢农历“六月六”，各方香客，云集长江，敲锣打鼓舞狮舞龙，恭迎“福主”，有时还演戏酬神，以祈风调雨顺，人寿年丰。

民国十九年（1930年），广东省独立旅三营进驻长江时，开辟为“中山公园”。在原石门上改成山字形门楼，横作“中山公园”四个大字。同时园内建有中山公园纪念碑一座和直径4米园形水池一口，此外还有花坛、花岗岩条石凳等设施。1931年2月7日，红军经过长江曾夜宿高岗庙。抗日期间，寨上建有“抗日阵亡将士纪念碑”一座。寨内四周楼橹等大多数建筑设施，已先后拆毁。

1954年，政府为了便于纪念在解放战争和建国初剿匪中牺牲的烈士，将在长江范围内的24位烈士遗骨集中葬在寨内（有墓碑），并在1967年5月建立“革命烈士纪念碑”一座，它象征革命烈士与世长存，永远值得人们敬仰。1956年秋初办长江中学时，其课室初设高冈庙，1958年中学才外迁。1964年庙宇拆除。

1999年，高岗寨中一颗围径6.8米、4人合抱的苦楝王吸引了美国哈佛大学博士、法国远东学院研究员劳格文和省绿化委员会宋副主任等人，都称从未见过如此巨大的苦楝树。2001年，原粤赣湘边纵队第二支队副司令员兼主力团团长叶昌骨灰，遵其遗嘱葬在高岗寨，并种下两棵樟树以示纪念。

现高冈寨有古樟树、苦楝树、乌桕树几十棵，四季成荫，空气新鲜，环境幽雅，俯瞰长江，一览无遗。