百泉书院宋元时称为太极书院，位于百泉湖东岸。创建时间为宋，到了元时，有了很大的发展，其中关键人物是姚枢，姚枢曾任燕京（北京）行台郎中，1141年辞官来辉隐居，耕荒种田，耕读自乐，自刊《小学》《论孟》等书，散之四方，以惠学者。慕姚枢之名，1250年，著名学者许衡、窦默也从河内（河南沁阳）、肥乡（河北大名）来到百泉。他么在太极书院内，经传、子史、礼乐、名物、星历、兵刑、食货、水利无所不授。不论学生出身贵贱、智商高低，他们都能因人施教，使求学者皆有所得。百泉弹丸之地，遂成理学渊薮。一时担簦负芨者，络绎于道，使得太极书院与朱熹创办的鹿洞书院，陆就渊创办的鹅湖书院并驾齐驱。因当时的许多名臣和学者都曾受学于此，故后人在评说理学的发展时有“宋兴伊洛，元大苏门”（意即理学兴起于宋代的洛阳，发扬光大在元朝的辉县苏门山）之说。

姚枢等人离开百泉后，太级书院渐渐萧落。到了明代成化面间，沉寂了220余年的太级书院又得以复兴。河南提学佥事（省级主管教育的官员）吴伯通、知府张谦在太级书院旧址上，又建起了百泉书院。

据当时的参政大学士刘建《百泉书院记》载：“（百泉书院）于成化庚子（1480年）4月始建，至壬寅（1482年）3月竣工，历时两年。凡为屋三重（即三进院），为楹六十有二，匾其前曰‘先贤祠’，内祀周敦颐、邵雍、司马光、程颢、程颐、张载、朱熹、张栻、吕东莱、许衡10人，另以姚枢、窦默二人配享；中曰‘讲道堂’，左右为斋凡八（即八排房）；后曰‘主敬堂’，左右为斋凡四（即四排房），合匾之曰‘百泉书院’”。由此可见，百泉书院的规模在当时已经非常宏大了。

明崇祯15年（1642年），开封遭李自成军队围攻，决水淹城，省贡院遂移至百泉院。自清顺治2年（1645年）至清顺治14年（1657年），共历6科，后改为科举考试的地方。

清顺治、康熙二朝，是百泉书院的又一个鼎盛时期。顺治7年（1650年），一代大儒孙奇逢自河北来辉，在百泉书院主讲“夏峰之学”，四方学者，纷至沓来，使得百泉书院与襄城老来章主持的嵩阳书院、柘城窦克勤主持的朱阳书院三足鼎立，驰名中州。李来章是孙奇逢的弟子，窦克勤又拜孙奇逢的弟子耿介为师传习百泉之学，所以嵩阳书院、朱阳书院及李来章后创的南阳书院、紫云书院及广东连山书院等，都已是百泉之学的一传、再传之学。百泉书院不仅在中州独占鳌头，还同浙江的姚江书院、陕西的磋中书院一起，站在全国诸多书院的前列。

清乾隆7年，百泉书院又行重修，规模 较前更为恢弘。乾隆15年（1750年），乾隆皇帝巡游百泉，将百泉书院改为行宫。道光6年（1826年），知县周际华立《学约十条》（立学、立教、立志、立身、立德、立功、立言、立名、立城），将书院由百泉湖畔移至辉县城内。光绪末年，西风东渐，学堂勃兴，百泉书院停办（其旧址在今辉县城内书院街）