大溪最早的书院——中山书院始建于南宋时期。彼时，曾任京学教谕的张环川致仕（退休）后置田20亩，创办了中山书院。当时正是书院发展的春天，已经建立了完善的书院制度，确立了书院在古代教育文化中的重要地位。中山书院的建立，为往后大溪书院文化的发展奠定了重要的基础。

　　元朝时期，经过不断的探索与发展，书院虽然在数量和规模上实现了空前的发展，但在文化、精神等各个方面远不及南宋。究其原因，主要还是因为元朝时期的政府部门及统治者虽然在表面上支持和鼓励书院向前发展，但实际上是在满足自己要求的基础上对书院进行改造和再利用。这一现象直到明朝弘治时期才逐渐好转，书院得以复兴。也是在这时，大溪的书院文化发展实现了重大突破。

　　知名度更高的方岩书院，就始建于明弘治二年（1489），因明代文学家谢铎讲学而闻名。其建立的过程，也是一场关乎天时、地利与人和的多方博弈。

　　明宣德十年（1435），谢铎出生于黄岩县方岩乡三十都（今温岭市大溪镇方山村）。他自幼好学，据谢氏宗谱记载，他7岁时就进入族人开办的会缌庵（方岩书院的前身）读书，以叔父谢省、谢绩为师，“年十四，叔父授以《四子书》《毛诗》，辄通大义”。

　　谢铎中进士后，出仕翰林院，诗文、政论广泛流传，返乡讲学时，“从游者众”。而会缌庵内形制局促，慕名前来求学之人渐多，难以容纳，于是谢铎商请谢省，扩建会缌庵。之后，谢氏家族在“（太平）县西北三十里，方岩山北”筹建方岩书院，“以为子孙百世讲学之地”，于成化二十三年（1487）动工，到弘治二年（1489）建成。

　　建设书院过程中，谢氏家族耗尽心力，其间还遇好事者从中作梗，诬称谢铎为建书院而“占寺田，不肯纳米”。为此，谢铎致信时任台州知府陈相，“名下若有一毫寺田，则己所有田地皆当入官”。

　　谢铎致仕后的10年间，一直在方岩书院讲学。其叔父谢省亡故后，主持方岩书院日常事务兼讲学的重任，全部落在谢铎身上。谢铎深感责任重大，对方岩书院更是尽心尽力。方岩书院在当地愈加闻名，追随谢铎的“从游者”从“乡族之秀”发展为“邑之俊秀”，而谢铎亦是不遗余力，倾囊相授。

　　自方岩书院建立后，大溪的书院如雨后春笋般不断涌现。明代除方岩书院外，还有潘宏阜置田若干亩建立的斗山书院和赵氏族人建立的箬溪书院。清代则有鸿文、漩溪、鲸山等书院。此外，还有创废情况不详的洋山庵书院、梁山书院、冠山书院、剑山书院等。

　　清朝时期的书院在数量和规模上实现了质的飞跃，也达到了历史的顶峰，但清朝统治者控制着书院招生的数量、教学模式和自由的讲学之风，根本目的还是希望书院向着官学逐渐靠拢，让书院成为科举制附庸，进而为统治者服务。书院的本质被改变了，其精神面貌也荡然无存。

　　1901年，清政府下令将各省、市、县中的书院全部改名为学堂。这主要是由于书院在科举制和官学化的不断影响下，逐渐边缘化，自身所具备的文化传承和学术创新作用逐渐丧失。另一方面，此时的中国处于动荡、战乱和不断变革时期，人们生活在水深火热之中，书院不能与时俱进顺应经济社会的发展，不能与社会共进退，最终只能由清政府下令废除。由此，经过千百年辉煌发展的书院退出历史舞台。