清光绪十年（1884），船山书院正式招收生徒，择师主讲，聘请李杨华为首任山长，书院章程由衡阳知县张宪和奉学院令仿照广东学堂制定，“不重科举之学，授经史诗赋”。当时的两江总督曾国荃也“将家藏所刻《船山遗书》322卷板片捐置书院”（《彭刚直公奏稿》卷6《改建船山书院片》）。

清光绪十一年（1885）3月15日，彭玉麟认为船山书院逼近城市，不适合读书，上 书奏请朝廷。并独捐银12000两将船山书院迁建于湘江中的东洲岛。初时建筑为三进四合院的古典式建筑，有大门、讲学堂、纪念堂、会客堂、藏书馆、精舍、湘绮楼等建筑，教学以“讲明夫子之学”、“扶植人才”为目的，规定“分经授徒”，“每月官师两课”，“分经命题，合卷发榜”，月课榜首之卷，收入《课艺》刊行。然其时学风日下，收效甚微。

清光绪十七年（1891），彭玉麟亲自聘请王闿运为山长。因为王闿运嫌该书院后房狭小，彭玉麟又捐银在书院后重建楼房5间（于1902年建成），题名“湘绮楼”，作为王闿运的书斋及住房，自此王闿运在此主持书院达20余年（1891—1915）。王力倡船山之学，人称“经学大明，弟子称盛”，“湖南耆老皆出其门”，如杨度、夏寿田、蒋啸青、陈兆奎、程崇信等。清末改书院为学堂时，王仍坚持未改，仅于1898、1901年略定课程，1905年分4科教学。1915年改为船山存古学堂，王作《船山书院记》以奠。其后相继于1922年改为船山国学院，1925年改为船山文科大学，1926年改为船山中学等。

寻访船山书院，需要乘船上东洲岛，几株百年古樟首映眼帘，一条弯弯曲曲的古石板路沿着围墙在几株古樟之间蜿蜒而上，探探寻寻地向小岛深处延伸。从几近倾塌的大门进去，除了几垛青砖墙壁尚称得上完好外，门窗、楼板、屋顶和顶棚都已七零八落。眼前荒败之景与当年彭玉麟所提“一瓢草堂遥，愿诸君景仰先型，对门外岳峻湘清，想见高深气象；三篙桃浪渡，就此地宏开讲舍，看眼前鸢飞鱼跃，无非活泼天机”联语中充盈的活泼生机已是相去甚远了。木质的大门和窗棂斑驳粼粼，刻满了时光的印记。大院内还有一株被岛上居民供奉的五指神樟，据说已有1000多岁。有人说是樟树成精，五根挺拔的树干是王介之、王船山、彭玉麟、夏明翰、杨度等五人的化身，虽是传说，又有些牵强附会，可由此也可看出这些人在衡阳历史上的重要影响，后人对他们的景仰与怀念。

船山书院的影响远远不仅于此，从船山书院也曾经走出了夏明翰等共产主义先驱，中共创始人之一的何叔衡也是王船山的推崇者，毛泽东在老师杨昌济和何叔衡的影响下，也看重船山学说。1921年，毛泽东在何叔衡的支持下，利用船山学社和学社经费，创办湖南自修大学，培养一大批革命人才。成为领导全中国各族人民推翻“三座大山”的革命中坚。新中国成立后的第二年，毛泽东亲笔书写“船山学社”匾额，1956年，船山学社重修竣工，毛泽东又再次书写“船山学社”4个大字，以纪念这位伟大的思想家。