孔圣庙又名文庙，建于清光绪十五年（1889），民国三十四年增建魁星阁，系砖木结构四合院，庙北朝南，前后四进，依次为大成门，大成殿，后殿，魁星阁，两侧为厢房，大成殿前有四柱三门石坊，题为“櫺星门”。1990年公布为邵阳市市级文物保护单位。19960年公布为湖南省省级文物保护单位。

孔圣庙位于县城儒林镇南侧，巫水北岸，处东径11°10′。北纬26°12′。距省会长沙市436公里。孔圣庙的东、西面是雪峰山余脉黔峰山和马鞍山。南与巫水河距100米。北面是城南路和印刷厂。座北朝南，北高南低，庙周围紧邻的是学校和居民区，整个建筑呈梯形状态修筑。

孔圣庙由湖北郧阳总兵花翎提督龚继昌回原籍城步时，以宋代的普和寺为基地，从城北迁文庙扩建而成。扩建此庙时，曾参照山东曲阜孔庙大成殿，北京故宫太和殿和苏州寒山寺的建筑风格，结合城步本地各民族建筑习俗进行修建。光绪十七年迁石碑坊“櫺星门”于大成殿前，民国三十四年将原文庙的魁星阁迁至庙后。修建成的孔圣庙座北朝南，呈梯形状态，有正厅四座四合天井两处，厢房六座。木结构部分都采取卯榫连接方式，重檐歇山顶，柱脚基石都精刻有花鸟图案，飞檐翘角造型优美，蟠龙彩凤形象逼真，花鸟图案栩栩如生。1974年，后殿和魁星阁在风雨中同时倒塌。现存正殿两座，厢房五间，总面积3100平方米，建筑面积2828平方米。1988年由县文物管理所正式接管至今。

孔圣庙是先进的汉文化与当地民族文化相结合的产物，是各族劳动人民智慧和艺术的结晶，从众多的木雕，石刻，塑饰、镶嵌等装饰和造型设计中，既反映了当时的建筑风格和各族人民的思想信仰，又反映了古代各族人民的建筑。