天岳书院坐东南朝西北，扼汨罗江盆地，地势平坦，视野开阔。当时耗银万余缗，建有楼宇4栋，斋舍50余间，藏书与生员均属从前未有之盛。教学以《四书》、《五经》为主，兼学史书、子书、诗词集，课程日记为句读、抄录、质疑、博览。光绪二十四年（1898），改变仅课八股时文作法，“兴实学而起真才”，订有课程表、章程，定经史、舆地、译学、算学等为诸生应习之业。光绪二十九年（1903），改为高等小学堂。其后相继改为中学堂、师范学校、县立中学、县中等。1928年，彭德怀率部在此誓师起义，今辟为平江起义纪念馆。
书院主体建筑保存完好，清人李元度所书“天岳书院”石额及石联“天经地纬，岳峙渊渟”仍嵌前门。门枕石上一左一右坐有抱鼓圆石，默然无语伴读百余年。大门内设门厅，木屏风隔开。进得门厅，花园里桂花飘香，冬青凝翠。拐角走廊操过两厢斋房，东西各14间。沿花园正上方石阶踏上大厅，便是书院讲堂，分为前、中、后厅。前厅8根青砖四方立柱，排成四横排，横柱之间饰有木质隔扇。在第三排隔扇之上，横悬有“整齐严肃”黑底正楷匾额，当为岳麓书院清代石碑之拓版。中厅两边各有耳房1间，原为山长住室，当年彭德怀便住在这里谋划起义。后厅正面曾有供奉的孔子牌位，书院东边曾建有屈子祠和宋九君子祠，朔望行香，春秋奉祀。李元度曾专门撰写有《天岳书院新建屈子祠记》和《天岳书院新建君子祠记》，以教育后人，尊崇忠孝理学。他说：“学者幸生先贤过化地，读其书，想见其人，又以入庙思敬，钦挹其流风遗韵，益当奋兴百世之下。夫道德、文章、节义，无古今，一也。有能志古人之志，是即古人之徒也。”惜乎，不过百年，这一切都早已荡然无存。
1970年初，在“文革”震天动地的口号声中，书院大门的楹联匾额被石灰粉刷遮蔽得严严实实，上面张贴着红色标语。20世纪80年代初期，彭德怀冤案平反，恢复平江起义旧址，天岳书院才重为人所关注，一直用作校舍的斋舍、耳房都被腾空，布置成平江起义史料陈列室。天岳书院现为国家重点文物保护单位。
