高邮湖古称樊良湖，因一条从天长方向流入高邮的樊良溪而得名。至宋初，樊良湖又有甓社湖之名，因孙莘老在湖畔读书，邂逅夜光之珠后即高中进士。人皆以为珠现之瑞，时如皋人王观有赋云：“驰甓社之湖兮，夜骇乎明珠之光怪。”高邮崔公度亦有《珠湖赋》歌之。珠湖之名遂不胫而走。樊良镇在高邮城北十八里运河之西今高邮湖中，正当夜明珠往来之地。得知甓社湖常有珠现之瑞，南来北往的商贾士子、达官显宦、迁客骚人到了樊良镇，往往都要在此系舟，停泊数晚，以期能有幸一睹夜明珠的风采，沾一沾祥瑞之气。宋嘉祐年间，有人在湖边建亭二，一曰还珠亭，一曰玩珠亭。南宋诗人陈节有《玩珠亭》诗云：

外挹湖天位置雄，下疏地脉与湖通。

骊龙睡觉寒光吐，尽献祥光入此中。

明高邮汪广洋称：“孙莘老湖上构玩珠亭，夜对珠光读书。”清王士禛有诗云：“昨夜银河吹玉笙，玩珠亭上月微明。”

后因玩珠亭与樊良镇一样，沉没于浩瀚的高邮湖，人们遂在高邮城北三里之遥的运河东堤(今薇风大道西头运河西堤处)，建起了一座玩珠楼，该楼曾祭祀天、地、水三官，故又名三元阁。然日久阁废，至嘉靖二十一年，乡民王维善、王宥、王云自发重建。后人们又把明万历年间在邮治水、德被邮邑的“三公”合祀于三元阁，故又称“三公祠”。

“三公”者，一为沅江人罗文翰。万历三年四月，罗文翰任高邮州管河判官。同年九月，遇高邮湖洪水，清水潭堤决，他率民众坚守在清水潭治水一线，不慎被大水冲走，人们觅其尸不得。罗文翰的父亲和儿子在清水潭立碑以纪念，后又入高邮名宦祠。二为吴桂芳，万历四年，漕运总督吴桂芳组织在高邮运河老堤旁筑东西二堤以蓄湖水，又在邮郡土石二堤间新开漕河、南北二闸，对老堤加增石堤、木城，还兼筑山阳河长堤等，“堤闸并修，漕道以固”。后高邮人在玩珠楼附近建吴公祠祀之。三为刘东星，万历二十七年，总理河漕刘东星组织开挑疏浚长十八里的邵伯越河，及长达一千八百八十九丈七尺的界首越河，后人们在界首镇运河西建刘公祠以祀。

清初江都人姚曼《晚上玩珠楼》诗云：

闲理秋风旧葛巾，晚登高阁数星辰。

湖宽小艇常多月，天远孤村不见人。

康熙五十年前后，三元阁又被俗称为挡军楼。所谓挡军楼，是指为护卫城池安全而在城墙外围修建的防御性军事建筑设施。至今，高邮城北仍有社区名为挡军。

乾隆二十六年秋，高邮大水，运堤决口，玩珠楼受损倾圮，榱栋尽坏。三十一年，知州秦廷堃与邑绅孙仝敞等商议用挑浚运盐河、澄子河节余的经费重建玩珠楼，不足款项向州境士绅募捐筹集。次年，在新任知州何廷模及高邮举人万兰阶、珠湖书院首任董事贾辉祖、附贡生沈铎、典史万荣光等的接力下，一座崭新的玩珠楼终于在原地重新拔地而起。

清高邮夏之蓉有诗贺之云：

杰阁倚长湖，巍然表灵特。一遭巨浪吞，遗基慨陈迹。

春来役般倕，千寻削垣壁。旧贯自可仍，孤楼复挺出。

据清高邮词人王敬之“斗野亭余星采烂，玩珠楼剩波纹绿”句意，至王敬之时，玩珠楼或又损毁倾圮殆尽。

嘉庆十三年春，知州冯馨在康泽侯庙之左建风神庙，建有堂三楹、门楼一座，主祭罗、吴、刘三公，并以在邮治水的南宋绍定元年知军叶秀发及明代南河都水司制使黄曰谨、李之藻、何元庆、徐待聘、叶应震、彭期生、徐标等七贤配享其间。冯知州还亲为作合祠记。玩珠楼已消失在历史的长河中，而三公、七贤为民请命的精神将如同流淌千年的运河，不舍昼夜，垂照后人。

1931年8月的特大洪灾，人烟稠密、商贾云集的挡军楼闹市区瞬间成为一片汪洋，此处的死伤失踪人员竟达一万多人。2005年12月，髙邮市在当年决口处建祭水坛。

玩珠楼的兴衰衍变史是高邮湖、大运河的千年巨变史，是得天独厚、生生不息的高邮发展史，是高邮百姓田毁人亡、创深痛巨的血泪史，是高邮人民筚路蓝缕、与自然抗争的奋斗史。