张栻、吕祖谦等也曾讲学于此。岁久倾圮。明隆庆三年（1569），知县周恪重建。凡为屋24楹，中为格致堂，前为登瀛亭，后为三贤祠、绪山钱德洪祀祠、大观亭，复方塘旧址构一鉴亭。五年，邑人方应时、方世义等共捐10余亩，以作讲会之资。天启年间，方世敏制订学规，以格致、立志、慎修、安贫警士，讲学之外，每月三次会文，练习制艺时文。岁久废。清顺治间，知县高尔修、钱同鼐先后修葺，各捐田广祀。后经多次修复，规模日大，有朱文公祠、詹先生祠、方先生祠、邑贤候祠、乡先生祠、双桂堂、格致堂、大观亭、仰止亭、得源亭。1921年重建。今为县级文物保护单位。
格致
格致者，圣经八条（指格物、致知、诚心、正意、修身、齐家、治国、平天下）之先务，古今理学之关键也。秦火之余，书缺有间，晦翁朱子取程子之意，与虚舟詹先生商榷于瀛山而补辑之。前此创复书院诸先达，特颜其堂曰“格致”，所以志贤迹示学的也。今读朱子之《传》曰：“天下之物莫不有理，则此备物之，我是亦一物，而非遗内也”，曰“人心之灵，莫不有知，则此所致之知，虽寄之物而非徇外也”。内外兼该，格致之义真至微至妙者也。学者格一物即致一知，日积月累，豁然贯通，按之心，有全体证之。世有大用，方是物格，方是知至。若徇外遗内，记丑而博，无益于身世，则直子程子所呵，玩物非格物矣。愿与同志戒之。
立志
天下事未有无志而能成得，盖一时之趋向，终身之事业系焉。今士所读者六经四子之书，所志者非六经四子之业，认富贵为功名，自童子时而心之所至惟是物耳。尝观汉唐以来，博洽载籍、掇巍科位公卿者，何可胜数；而声施后世、袭其香、仪其羽者又不尽高科大官辈。此可惕然省矣。朱伯贤曰：“君子莫先于立志。志仁义者其德着，志功名者其业崇，志富贵者其势广，视夫所志何如耳。”周子曰：“志伊尹之所志，学颜子之所学，过则圣，及则贤，不及则亦不失于令名。”而子朱子亦以为书不记，熟读可记；理不明，精思可明。惟有志不立，直是无着力处。旨哉斯言！吾侪能无仰止之思乎？
慎修
修身之学，圣门言之详矣，总之不出慎厥身修一语。盖人一涉世，即有富贵贫贱异其境，荣辱得失交其前，是非毁誉惕其心，爱恶忧喜生乎内，酬酢应感挠乎外，千态万状不可胜穷。若或不慎则中无主，而匪僻入之，即素号贤者，心且不觉，引之而去矣。一失其身，虽痛自悔责何益耶？昔黄勉斋称朱子有云，其为学也穷理以致其知，反躬以践其实，至于养深积厚，精持者纯熟，严厚者和平，犹慊然有不足之意。盖惟终身凛此慎修也，故虽身受群小之诋毁，而其行益彰，乃若不慎不修，则鸡鸣为跖徒，语默类穿窬，□亡归禽兽几希矣。去虚名何为？虽或誉之，可愧弥甚耳。《易》曰：“吉凶悔吝生乎动。”吉一而已，动可不慎乎？故慎修者于善之萌焉，若食之充饱也；若抱赤子而履春冰，惟恐其陷也；若鸠毒之投羹，虎蛇之横集，盗贼之侵凌，欲有以避之而胜之也。古君子凝至道而成盛德，罔不由斯。此朱子所为穷理致知、反躬实践而必要之居敬以立其本也。敬与吾辈勉之。
戒傲
夫傲，凶德也，不可长也。《书》曰，无若丹朱傲，丹朱非□大过极恶。见于经传只一傲字，遂目为不肖，今之为士者，得无傲心与？尝读卧碑有云，初知行文，眇视师长，正切中今时之病。果乐，尚安望其沉潜逊志，造于上达之域哉？阙党之将命滕，更之不答，皆所以潜消其傲心，欲其反而之道耳。盖傲之反则为谦，谦则卑以自牧，而循循之礼立矣；傲之反则为虚，虚则乐善能受，而休休之量廓矣；傲之反则为敬，敬则无众寡、无大小、无敢慢，而瑟□之德昭矣；傲之反则为恕，恕则己所不欲，勿施于人，而终身之行无适而不当矣。夫傲之病如彼，不傲之善如此，人胡不重以为戒！故君子之禔躬（禔躬：禔，安也。躬即身。犹言安身）也，忿词不出于口，厉气不形于色，惰慢之容不设于身体，敢日受益，期免损耳。