我国向有书院讲学的传统。汉时以明经教于乡，相与择胜地立学舍。唐开元时始设丽正书院。宋代，书院较盛，著名者有石鼓（一说嵩山）、岳麓、白鹿、睢阳四大书院，名儒主山长讲席。元代，路州、府皆设书院。明嘉靖时，书院撤毁。天启时，因东林党起，诏毁东林书院，天下皆以书院为讳，不敢谈建。直至清康熙，下令修复，书院普遍兴办。清末废科举，书院改办学校。
    象山有书院始于唐。唐大中四年（850），县令杨弘正于栖霞观右，创建蓬莱书院。栖霞观旧名蓬莱观，传秦徐福、梁陶弘景皆隐迹于此。弘正于此筑蓬莱书院，课读士子，振兴文教，对象山教育事业不能不说是一个开创者。前清乾隆进士姜炳璋曾有诗赋蓬莱书院，其中有“大中政治小贞观，守令堪入循吏传，吾乡贤令推杨公”句。马端临《文献通考》曾推宋初四大书院为书院之始，而象山书院则更早出一百余年。
    南宋嘉定十一年(1218)，县令赵善晋修理书院，后圮。清乾隆十八年(1753)，知县尤锡章，以丹山书院卑湿，购蓬莱书院故址，各捐资筑学宫五间，中讲堂，旁弦诵所，门、庑、庖、湢具备。门前有濯缨溪,因名缨溪书院。乾隆二十三年，宁波知府史尚廉来象巡视，见“书院室宇空凌，日暄雨筛，为流丐畜牧之所。”(史尚廉《修建缨溪书院记》)，且“西廊未建，东廊门牖、垣壁俱缺，不足为肄业之所”(史鸣皋《缨溪书院记略》)。史尚廉闻邑人邓怀圣素爽侠好义，敦请议之。邓应命捐资重修，增西廊四间，周筑墙壁牖棂、明堂大门阶砌，粉刷一新。乾隆二十六年，史尚廉题额云：敬业乐群，君之子炳，为予首拔。乾隆四十二年，知县鞠毓蕤因张公祠圮，移张公墓于汪公祠（即汪国祥,曾任象山协副将），以其址建书院中外堂二进。嘉庆初，中堂圮，知县周楷募捐重修。道光七年(1827)，因书院围墙陈丹暗粉渐颓驳，东西庙宇并高峻，董事辛茂荣、林逢春与诸绅士倡率于讲堂后，建观海楼七楹，翼以廊，东为四公祠。楼东隙地筑濯缨亭，墙角凿一泉，泉水泓然碧,气象一新。光绪二十四年(1898)，知县邵同珩大修，以实学课士，每月逢朔望日，教以经学、史学、天算、舆地各科，因去任未实行。光绪二十九年(1903)后，缨溪书院改为公立始达小学堂。
    缨溪书院而外，尚有丹山书院。明《嘉靖县志》载，南宋嘉定十一年至十五年间(1218-1222)，县令赵善晋于县西一里栖霞观东建丹山书院。清康熙六十年(1721)，邑令马受曾慨然以教育为己任，与县绅士倡修丹山书院，辟基周围四百步，造屋前后凡三进，计三十余间，门、庑、堂、室具备。讲堂后凿池，环以石栏，跨以石桥，后堂挂朱子像(即朱熹)。书院成，郡人邵基作《丹山书院纪略》，以纪当时文风之盛，谓“四境之负笈而来者踵相接”。道光五年(1825)，知县刘嘉会(山西太平庶吉士)改名为蒙养书院。光绪二年(1876)，邵正寅任象山知县，见丹山书院寝衰，闻城西严氏地将为广厦洋人购建教堂，急筹款购得此地，改筑书院，亦名丹山书院。以“取资于田”法，规定每户不及五亩者费取，五亩至百亩，渐递加，共集资万余缗。邵正寅为造书院，“每日必徒行其地，迄九月，积劳而卒”，邑中绅士承其意，至冬事竣。两旁横舍、南向皆三楹，东西向皆七楹。县童子试，也在此举行。每月初一(朔)、正寅课艺，手自评点。士人或偶旷一课,必询问何事旷课，并致函斥之。五年后，为续记此举，邑绅林溎安请训导陈根培作《重建丹山书院记》。光绪二十九年，丹山书院改为县立小学堂。
    明万历三十二年(1604)，县令周官在儒学前建聚奎书院，次年冬告成。建讲堂、寝室各五间，两旁各十舍，庖湢具备。辟东南隅为门，置田二十二亩，昌国人邵景尧作《聚奎书院记》。后县令吴学周纂修《万历象山县志》，开局于此，复加修葺，又给田二十亩。清道光时，书院已废。
    石浦金山书院，始为崇德义塾，清道光八年(1828)，石浦许超偕其兄弟炯斋、灴乌、岩纶创建。许超，一名廷枢，字卓轩，太学生，见石浦距县城有百里之遥，士人肄业考课茧足难行，遂出钱于石浦城北建义塾(今石小)，规模初具。卓轩、炯斋相继去世后，炯斋子缉庵、际熙续建完工，计三十余间。中为“敬业堂”，左右各二楹，主讲者悬绛帐于左室。敬业堂后为五楼，前为一亭，耸然而立，为“奎阁”。敬业堂之左庑为楹二，横构小室，以备庖湢。右庑一楹，有门。由门而北，出为“就正堂”，有五间，亦叫“小义塾”。再后为“藏经阁”，三间，中祀苍颉先生，余二间为经、史、子、集藏书之用。其左右各有耳房，为用膳设馔之处。“就正堂”之南为大门，即义塾正门，门之左有一巨塍，砌一桥，谓登瀛桥。许超一生好施善行事，故名其义塾为“崇德”，取“行道而有得于心”之意。义塾落成，宁海人鲍凎撰《崇德义塾记》。后因积欠，修脯不继，生徒散逸，遂为巡兵官驻寓，屋亦颓漏。同治十三年(1874)，宁波府驻石浦同知杨殿材与其裔四品封职许振英、举人俞兆元、拔贡吴承墡、附贡黎鹤鸣、生员佘勉寀暨诸绅士等商议，禀明上宪，将义塾修缮，改名金山书院。各绅士量力输助，杨殿材与宁波知府同捐廉，集钱二千余缗，除修建屋舍之外,余存店生息，专备请师月课及院中经费之用。经师朝夕讲业，每月朔望两日(初一、十五)，合境内生童课教诗文及经古之学，诗书礼乐之风盛极一时。同知杨殿材撰有《石浦金山书院碑》。民国后兴办学校,金山书院改为敬业高级小学校。
    珠山书院在县东乡着衣亭魁照墩。陈根培《创建珠山书院记》载：其时“邑之西、南二乡，如西周、东陈、九顷、蔡家岙、昌国卫均建有文昌阁，石浦更建有金山书院，此为萃荟文人之地，断不可缺然者。而东乡则皆无之，是殆创业甚难，而领袖乏其人欤。”于是，里人王旭林、俞鄂楼，萧陶甫、贺衡轩数人，各输己资，置田十五亩，创设文会。后禀县令沈钟瑞，扩而充之，筹建书院。向“好心之士劝募”,解囊相助，数月集钱一千一百贯有奇，田一百五十亩，择地着衣亭魁照墩，于光绪八年(1882)春动工，是年冬落成，名珠山书院。次年,聘训导陈根培为书院主讲，开课讲业，命题月试，评甲乙以给膏火费。其后，县令史恩纬拨还灾荒银九百六十元，以充书院费用。民国后，珠山书院改为珠山高级小学。
    养正书院在今昌国卫。清光绪二十五年（1899），意大利侵占三门湾，清廷命前云南盐法道会稽钟念祖驻防昌国卫城，士绅苏良彝、蔡兆鹏诸人请钟念祖申报浙江巡抚，咨部立案，以原象山右营都司署为养正书院。苏良彝，字镜三，例贡生，慷慨好义，为南田开垦局董事。书院既立，其特割南田龙泉塘地五十亩为膏火费。嗣后，知县黄羡钦拨款八百金，详准昌国卫城南门外校场地七十亩归入。民国后，改为公立正谊小学校。
    清乾隆《象山县志》载，象山在宋元间，书院设山长，为主讲席，讲授儒学经典，课士读书。以集中讲授为主，兼以自学，相互答问。明以前，书院山长既为学官，又是书院主教。入书院读书大多官绅子弟，经选拔之良秀者。明初改山长为训导，清代相沿。书院常聘延名士坐主讲席，课士读经。乾嘉时期象山名士钱沃臣、马丙书曾主教缨溪书院，尔后如清咸丰四年恩贡生虞峻，乃邑中名士，同治元年举孝廉方正，主讲缨溪书院十余年，以“五经八铭课士，终日衣冠危坐，虽暑月讲诵不倦”（《民国志·先贤五补传》)，直至晚年，辞去院长席，就教家塾。道光二年(1822)，县人娄占瀛助田四十九亩。同治三年(1864)，墙头人欧景辰捐入大泥塘田六十亩。一般租给佃农耕种，收取租谷，以为书院资金。《民国县志采访册·书院田》项下：“现今实有收租田七百三十八亩一分”。可见，历代书院田，官拨私助，其数目相当可观。