最先来的是孙觉(高邮人)，曾竭力提拔秦观，并将其介绍给苏东坡，高邮文游台便是当年苏轼、秦观、孙觉、王巩饮酒论诗之所。如果说文游台是他们会聚的史册，那么斗野亭即是他们友谊的丰碑。孙觉写的是五古：“淮海无林邱，旷泽千里平。一渠闲防潴，物色故不清。老僧喜穿筑，北户延朱甍。檐楯斗杓落，帘帷河汉倾。平湖杳无涯，湛湛春波生。结缆嗟已晚，不见芙蓉城。尚想紫芡盘，明珠出新烹。平生有微尚，一舟聊寄行。遇胜辄偃蹇，霜须刷澄明。可待齿牙豁，归欤谢浮荣。”从孙觉的诗可看出斗野亭确实怡人。首先是气势雄伟。“檐楯斗杓落，帘帷河汉倾”，结构仿佛天上落下的北斗星，其帷幕犹如天上倾泻的银河。其次是周围的景色美，邵伯湖内荷花盛开，藕香洋溢，如果在斗野亭上，面对湖水，吃上“紫芡”、喝上“新烹”，其乐何及？即使他这个老翁也陶醉其间了。

孙觉是春天来的，邵伯湖荷花满湖仅是他的想象，而他的好朋友苏东坡是秋天来的，也赋诗一首，诗的题目是《次孙觉谏议韵寄子由》：“落帆谢公渚，日脚东西平。孤亭得小憩，暮景含余清。坐待斗与牛，错落挂南甍。老僧如宿昔，一笑意已倾。新诗出故人，旧事疑前生。吾生七往来，送老海上城。逢人辄自哂，得鱼不忍烹。似闻绩溪老，复作东都行。小诗如秋菊，艳艳霜中明。过此感我言，长篇发春荣。”“小诗如秋菊，艳艳霜中明”，似乎是即景有感之句。在诗中他分明心情不畅，颇有欲言难诉的隐痛，因此遇上僧人倒是很感亲切。而对朋友的诗，他赞扬“新诗出故人，旧事疑前生”。苏东坡的弟弟苏辙在斗野亭上写了两首诗，一首是《邵伯埭上斗野亭》，另一首是《和子瞻次孙觉谏议韵·邵伯闸上斗野亭见寄》。从“昔游有遗咏，枯墨存高甍，”看出他前次写的诗已被人刊刻置放于亭中。苏辙对兄长的境遇不平，他劝兄长“早为归耕计，免惭老僧荣”。僧荣即斗野亭主人，诗的意思是说哥哥你不如早点归田隐居，垂钓江湖。

黄庭坚是苏门四学士之一，他与东坡并称“苏黄”，他的和诗是《和孙莘老题邵伯斗野亭》，称赞老师的诗“苏州来赋诗，句与秋气清”。他也是秋天来的，所以笔下的景色比较萧瑟，“籁箫吹木末，浪波沸庖烹”，“霜清见鱼行”，“白鸥远飞回”。当然景是寓情的，他也屡遭排挤，所以最后也发出了“佳人归何时”的感叹。这“佳人”即指孙觉，他在朝廷中也难立足，所以黄庭坚关切地劝他也解甲归田，摆脱荣华富贵。秦观也是苏门四学士之一，在文学史上以词著称。苏词豪放，秦词婉约，两者互为词坛犄角之势。他的《和孙莘老题邵伯斗野亭》写作亦在秋天，他的诗长于写景，近景“菱荷枯折尽，积水寒更清”，“村墟翳茅竹，孤烟起晨烹”；远景“北眺桑梓(高邮)国，悠然白云生。南望古邗沟，沧波带芜城(扬州)”。一次看不够，还想春天再来：“何时复来游，春风发鲜荣。”

其后，苏门四学士中的张耒又来此写了《和孙莘老题邵伯斗野亭》。晁补之虽未和孙莘老，但也写过《视邵伯埭新堤》三首。其后还有北宋诗人张舜民也写过《和孙莘老题邵伯斗野亭》，南宋诗人尤袤等又来此作过诗。

2001年秋，邵伯镇政府投巨资，择址在京杭运河与古邗沟交汇处，新建斗野亭园。主亭飞檐翘角，古朴典雅，亭内集苏(轼)、黄(庭坚)、米(芾)、蔡(襄)宋四大书法家字迹镌七贤诗碑于壁。周边有亭、长廊，东有假山耸立，北置铁牛卧蹲，临水为雕石栏杆。优美的环境，玲珑精致的建筑艺术风格，名诗名墨的丰富文化内涵为海内少有，可与闻名全国的北京陶然亭、徐州放鹤亭、滁州醉翁亭、陕西喜雨亭四大名亭相媲美。游者入园，既可观赏七贤诗作和四大书法家墨宝，又可饱览运河风光，是邵伯目前最佳景点。