书院，最初是学者名士读书讲学的地方，有的兼作地方图书馆和政事、文化咨询机构。后来，逐步演变为准备科举考试的教学场所。在邵伯镇，历史上就曾建有一所书院，它是现今江都辖区内创建时间最早的书院。
至于邵伯所建书院的名称，却是众说纷纭，就连史志上的记载也不尽一致。
邵伯风光嘉靖《江都县志》云：“太傅谢公祠在邵伯镇。明嘉庆六年给谏彭汝实改题其额曰：东山书院”。嘉靖《扬州府志》又云：“在邵伯镇者，有谢公书院”。万历《江都县志》云：“在邵伯镇者曰晋谢安书院”。万历《扬州府志》云：“安石书院在邵伯镇”。
由此可见，邵伯镇所建书院分别被称为：东山书院，谢公书院，安石书院，谢安书院。其实，它们所指乃同一书院，都是为了纪念有德于邵伯的谢安而命名的。谢安，字安石，敬称谢公，隐居在会稽郡山阴县之东山，史有“东山再起”典故，所述皆同一人也。因书院是设在谢公祠内，可能正是这种情况，导致民间口头称呼不严谨，撰志者也就各取其说，造成书院名称不一了。不过，从最早的记载看，还是称“东山书院”为准。
（借用）关于“东山书院”的详细情况，尚未发现相关资料。但是，从史志记载的字里行间，有三点还是可以肯定的。
一是东山书院是彭汝实于明嘉靖六年（）倡建于邵伯镇。
董恂所撰《甘棠小志》载：“甘棠庙，今谢公祠也。雍正《江都县志》云：甘棠庙，旧祀晋太傅谢安。明嘉庆六年，给谏彭汝实改题东山书院。”可见，东山书院为彭汝实于嘉靖六年倡立。
彭汝实，字子元，嘉定州（今上海）人。少时家贫，曾在邵伯法华寺内苦读。正德十六年（）进士，授南京给事中。后于嘉靖三年“数言时政缺失，又尝力争大礼，为奸臣璁，萼所恶，逐以亲老再疏，请改近地教职”，不久，又被“夺职闲住”。估计彭汝实就是在“改近地教职”期间，为报答少时读书之恩，于嘉靖六年在邵伯倡立的书院。
二是东山书院是江都现今辖区内，创立最早的一所书院。
有资料说：“谢安书院是扬州地区历史上最早创办的书院。它首开扬州教育之先河。”这种说法是不能成立的。
据万历《江都县志儒学志》载：“书院。在府治内东隅者，曰资政书院。成化年间（-）知府王公恕建；西门内仰止坊者，曰维扬书院，嘉靖五年（）盐御史雷公应龙建；在广储门外者曰甘泉书院，嘉靖七年（）巡盐御史朱公廷……建；在邵伯镇者，曰晋谢安书院”。可见，建于嘉靖六年的东山书院只是江都现辖区内创建最早的书院。
三是明代学使耿定向以及国子监监丞沈珠曾亲临东山书院视察。
董恂《甘棠小志》云：“隆庆元年（）学使耿定向谓安宜正位于堂，檄扬州知府，迁安像居后殿。国子监监丞沈珠为碑记。”
学使，即学政，学台。与布政使，按察便同列，是巡抚之下的三个重要官职之一。它是由朝廷直接委派的省级负责教育科举，督察学官与生员的官员。国子监，是旧时最高学府与教育管理机构。监丞，是国子监负责监务的官员。这两位教育界的高级官员来邵伯，决不只是为了瞻仰谢公祠，而是专程来视察东山书院的。据沈珠后来所撰的《谢太傅祠碑记》云：“隆庆改元夏五月，督学使耿公试士海陵，珠追随及镇，馆于庙，睹太傅像，肃然起敬曰：先贤焉置是？备正位于堂……”由此可知，耿，沈二公是在参加扬州乡试（扬州乡试点在泰州）后专程去东山书院视察的。只是同时见到谢安像，提出了安放位置的建议。可见东山书院在当年的地位与声誉。（朱毓麒）