宋神宗元丰初年的早春，当秦少游携僧友参寥子徜徉在东园的时候，他们看到的只是一片莺啼蝶舞蜂忙、桃红李白菜花黄的自然景色，再有就是那已历百年沧桑的东岳行宫，因而他们留下的诗作分别是《东园》和《题早春僧舍》。时光过去不到十年，宋哲宗元年初，少游进士及第，在蔡州教授任上就职的时候，一座规模恢弘、气象万千的“众乐园”诞生了。南宋王像之的《舆地纪胜》和《高邮州志》中都有较多笔墨，记载了这个当年盛极一时的官方园林的繁盛。

《嘉庆高邮州志》中载有当年高邮军太守杨蟠的《众乐园记》，开宗明义阐明了建园之动因：“高邮当东南冲会，名之为军，而邑居繁盛，加之鱼稻之富，人足于衣食，其情闲暇则思有所适，以寓一目之乐焉。”高邮鱼米之乡，自古繁华。无温饱之虞的高邮人，便有了更高层面的精神生活的追求。另一个十分重要的原因是，元元年（1086），朝廷下诏恢复高邮军建制，并且拨了一笔款子用于旧城改造。如同现今撤县建市，必要烈烈轰轰庆祝一番。工程始于杨蟠的前任太守毛渐，他于“牙墙之东获废地几百亩，垣而明之曰众乐园。”然而毛渐只圈了一个围墙就匆匆离任了，众乐园最终成于继任者杨蟠。《嘉庆高邮州志》有传云：“杨蟠字公济，章安人，少年登进士第，欧阳修、苏轼尝称其诗，元中以议郎继毛渐知军事，始成众乐园，建台榭一十二所，又构亭曰梦草，皆有题咏，州人称为文章太守云。”有文章太守雅号的杨蟠，对于建成众乐园这一政绩也颇为自得，亲笔撰写了《众乐园记》，叙写了建园之艰辛、园林规模与格局、园内亭台楼阁名之由来以及游客“肩相摩，足相蹑”的盛况。如主体建筑“时燕堂”，是太守宴客之所，“与宾客僚属燕之以时也”。最高建筑为“华胥台”，因为“华胥之人，乘空如履实，寝虚如据床”，登此台如在云雾之中，像神仙华胥一样熙然而乐。还有摇辉阁、玉水堂、烟客亭、尘外亭、迷春亭等，皆一一道出其不同寻常之处，让人油然而生必欲来此一游之雅兴。不仅如此，杨蟠在与宾客僚属游园时，还乘兴作诗《众乐园》、《华胥台》、《时燕堂》等一组。

众乐园由朝廷“赐金”独资兴建，是一个道地的官方园林，史志中称之为“郡圃”。然众乐园之“众乐”显然寓有古圣贤“独乐乐不如众乐乐”之意。文章末尾，杨蟠借题发挥，表达了一番忧民之所忧、乐民之所乐的情怀。其《华胥堂》诗云：“我缘众乐狂方盛，园锁从教日日开。”希望官方园林的显贵身份和园门之锁，不致成为与民同乐的障碍。

众乐园作为高邮的风景胜地存在了多少年不得而知，北宋苏东坡、蒋之奇曾经光临，并留下了诗文。到南宋初年，高邮籍进士、有“淮南夫子”美称的陈造多次畅游园中，高邮州志存有其以《众乐园》为题的五言、七言古诗各一首。在其后的漫长岁月中，众乐园很少为人提及。一直到700年后的清道光年间，时任高邮太守的左辉春兴建后乐园。何为后乐园？一位颇有名气的自由文人何咏在《后乐园记》中说：“湘乡先生治邮之二年，而后乐园成。后乐者后宋州守杨公公济众乐园而为园也。”（《道光续增高邮州志》）湘乡先生即左辉春，“后乐”不仅指后“众乐园”之后，而且寓有“先天下之忧而忧、后天下之乐而乐”之深意，这一点《后乐园记》中亦已点明。园中有“镜花轩”、“天香坞”、“荆花馆”等景点，规模十分可观，其可圈可点之处亦为时人称道。

“乐园今日成空忆，叫人何处觅芳踪？”岁月流逝，众乐园、后乐园皆已成“失乐园”，给后人留下无尽的慨叹和困惑。《众乐园记》云“牙墙之东”，似乎很清楚，园址不就在州衙以东吗？然诚如《后乐园记》坦言，“州宅数易”，当年州宅何处尚难考定，何况园址呢？其实只要捋清东园与众乐园的关系，问题就有了答案。蒋之奇长诗逐一描写了众乐园内十三个主要景点，然诗题为《题东园》；杨蟠继任者赵晦之在郡圃内建四达斋，苏东坡为之作《四达斋铭并引》，称“高邮使君赵晦之作斋东园”；陈造《众乐园》有诗句“东园郡胜处”、“东园地胜宾尽佳”。此外，杨蟠《华胥台》诗云：“歌舞飘飘百尺台，半天笼麝散香煤。”蒋之奇亦有诗句，“高台雄跨一千尺，熙熙乐园游华胥”。百尺、千尺都有夸张之意，极言华胥台之高。然华胥台不是平地高楼，而是有所凭借。高邮城区的制高点，唯有东岳行宫所处的城东高岗，华胥台所凭借者与东岳行宫应同为一地。如此，两者的地理位置及其渊源关系十分清楚，众乐园应是在东园基础之上而建，且造园者匠心独运，因地制宜，巧妙利用了东园地势上的优势。东园之东是州城之东，就众乐园而言，州城之东与州衙之东可以视作同一方位。比之少游和参寥子笔下的东园，众乐园不过是一个面貌一新、更大规模的东园而已。事实上，在蒋之奇、陈造等人的诗作中，东园只不过是众乐园一个简单的代称而已，两者实为同一概念，难以区分，也无须区分。