秦少游《淮海后集》卷五有绝句一首《早春题僧舍》，诗云：

东园紫梅初破蕾，北涧渌水方通流。

归去一春花月梦，定应多在此中游。

著名学者徐培均先生考证，此诗似作于元丰元年（1078）早春。这一时期，少游的方外挚友参寥子往来于淮南之间，经常与少游在高邮聚会，东园是他们的必去之地。参寥子有《东园绝句》三首，徐培均先生分析，诗中时间地点与少游诗皆相同。因此少游诗应是与参寥子的酬唱之作，至于少游诗为什么只有一首，比较合理的解释是：少游去世后的第三年，朝廷曾下诏焚毁“元党人文集”，苏东坡、秦少游、黄庭坚等人文集的印板，被悉行焚毁。可以肯定的是，我们今日所见《淮海集》，已经不是少游著作的全部。

那么东园又是何处呢？道光《高邮州志》载有蒋之奇《题东园诗》一首，有诗句云：“三十六湖水所潴，其尤大者为五湖。中间可以置邮戍，隐然高阜如覆盂。……大开名园治亭榭，时燕（亭名）朱履为欢娱。高台雄跨一千尺，熙熙乐园游华胥。”蒋之奇，字颖叔，江苏宜兴人，年龄长少游约二十岁，有文韬武略，边功卓著，是秦少游青年时期崇拜的偶像。少游曾先后作诗《送蒋颖叔帅熙河二首》、《次韵出省马上有怀蒋颖叔》，表达了希望建功立业、报效国家的壮烈情怀。早年，蒋之奇曾任江、淮、荆、浙发运副使，诗的前四句凝练地概括了高邮的地理、历史特点，表明他对高邮的情况较为熟悉。徐培均先生认为，“高邮城东北有文游台，其地形与蒋之奇诗中所写极相似，其下盖即当时之东园。”（《淮海集笺注》）从诗句“大开名园治亭榭”可知，当年东园建有亭台楼阁，“时燕”即为其中之一。而“朱履”、“华胥”等，再现了当年达官贵人、各界名流熙熙游乐其中的盛况。

少游还有一首《行香子》词，大约也作于此时：

树绕村庄，水满陂塘。倚东风豪兴倘佯。小园几许，收尽春光。有桃花红，李花白，菜花黄。  远远苔墙，隐隐茅堂。青旗流水桥傍。偶然乘兴，步过东冈，正莺儿啼，燕儿舞，蜂儿忙。

好一派生气盎然的春色图画！尽管有人怀疑这首词出自明人张之手，但是从“小园几许”、“步过东冈”等词句看，《行香子》描写的也是东园春色，恰好与《题早春僧舍》形成对照，互相映衬。诗题所谓“僧舍”，系因园内建有东岳行宫即泰山庙。读以上诗、词，我们大约可以这样说：少游与参寥子优游酬唱之时，东冈已经建成为一处景色宜人的名园，其上建有东岳行宫。元丰七年（1084），四贤在此聚会、载酒论文之后若干年，一位有远见卓识的太守，又建起了纪念四贤聚会的文游台。而由于苏东坡、秦少游等人巨大的影响力，遂使文游台后来居上，成为高邮最为重要、最具地标意义的名胜；相反，随着时间的推移，东园、东岳行宫却越来越少为人提及。

后世有学者质疑四贤聚会的真实性，理由是四贤行踪似无同时聚会高邮的时间，其诗词文章中没有留下什么痕迹。清代著名学者、高邮人王敬之做过非常详尽的考证，其结论简言之，第一是四贤聚会不必拘泥于“同时”，第二是关键在苏东坡，因秦少游、孙莘老均为高邮人，王定国长期寓居高邮。只要确认苏东坡至高邮、游东岳，那么四贤聚会就可以确认。专家考证，苏东坡曾经五次莅临高邮，第四次是在元四年（1089），他以龙图阁学士衔出任杭州太守，少游弟秦少章从行为学。六月初八日途经高邮，拜会老友王定国，还新结识了太守赵晦之，为之作《四达斋铭并引》。其《引》云：“高邮使君赵晦之作斋东园，户牖四达，因以名之。”赵太守将自己的“斋”——书房或是别墅建在了东园，时间肯定是在文游台建成之前。斋的特点是“空”和“达”，空者家无长物，以显示清廉；达者门户四开，便于欣赏四周之美景。然将私人之“斋”建在风景名胜之地，多少有点以权谋私之嫌。但是无论如何我们得感谢赵太守，正是他颇具特色的“四达斋”，而留下了苏东坡的《四达斋铭并引》，让高邮“东园”与苏东坡辉煌的文字一同不朽。而《四达斋铭并引》可以确证，苏东坡曾经驾临高邮，游历东园。那么，按照王敬之的观点，文游台四贤聚会的真实性也完全可以确认。