建安堡位于南山之巅，距此不远处有个香水村，聚水为池，清沏甘甜，经冬不冻。粼粼的清水河从山脚下缓缓流过，注入秃尾河。城堡现存东、西、南三座砖券残留城门，供人出入。进入城堡，最为显眼的是位于中央的钟楼。据文字说明所载，此楼初建于洪武三年《1370年)，比整个城堡早建一百年以上，可见后来的城堡是围绕此楼建造而成。城内约有居民30多家，分散居住，显得整个城堡内空空荡荡。城堡内外原来有近20处庙寺，陆续建于明、清两代，如今仅有，娘娘庙、龙王庙、三官庙、关帝庙等数处。

登上土城环视城周，矩形城廓历历在目。城垣平均高度为8.7米，墙体厚6.8米;东西城垣长185.3米，南北城垣长451米。城周长1200多米。举目北望，长城时隐时现，周围还有墩台23座。堡城南门外的关帝庙，是当年神团农民们心目中的主宰。据重修庙宇碑记所述，此庙初建于后唐，则已有千年以上的历史了。后来累废累兴，香火未绝。民国二军毁于神团之度，四年又加重修。十年--中再次遭劫，1989年重修今貌。殿宇虽不甚恢宏，却颇有气魄，正殿、卷棚、偏殿、过斤俱全，正殿与偏殿中近百幅展现关羽生平事迹的壁画，色彩鲜艳，技法娴熟，显系近人手笔，堪称艺术佳作。正殿右侧，有砖砌四方点将台一座。殿后有四方砖塔若千座，呈棱锥形，由下到上渐次收缩，据说是过去和尚(或道士)弃世后的墓葬标志。山门外有当年高大石牌坊遗迹和石狮的残骸。

建安堡前后经历了五个多世纪的风风雨雨。明朝中叶，朝廷为了防御漠北蒙古贵族残余势力南侵，先后在愉林境内的长城沿线设立了36座营堡，驻兵把守。建安堡即是东线著名的堡塞。城堡初建于成化十年(1474年)，万历三十五年(1607年)用砖石砌起了堡墙。建安堡原属榆林卫，清雍正三年(1725年)划归佳州。乾隆二十七年(1762年)又划归榆林县。因此，所见到的一些文物(如铁钟、碑石等)上还可以看到"佳州"的字样。这里原来屯兵驻守，后来由于汉、蒙双方议和开启互市，边防无事，城堡失去军事意义，便将驻军裁撤。据当地人说，抗战以前，砖包城堡还是基本完整的。后来因无人重视，外砌城砖被周围群众逐年拆除，移作他用。如今只遗留下一座土城，但是大体框架较为完整。

民国元年(1912年)7月，这里发生了建安堡神团农民反抗官府强行铲除婴粟苗的风潮，农民遭到官兵的--，民房和庙宇都被烧毁，群众被迫背井离乡，四方避难。那次农民抵抗官府的行动虽然失败了，但却是近代陕北农民推翻三座大山革命的一次预演。由于建安堡整体保存较为完整，越来越受到社会各界的关注。电影《东邪西毒》和《大秦腔》摄制组曾先后在这里拍摄外景，大型纪录片(望长城》也摄入建安堡的雄姿。中国长城学会秘书长董耀会一行，也于2002年专程考察了此地。