这方“第一山”碑刻，最初是立在旗峰下妙觉岩的，还有一段南来北往的曲折经历。有人知道它是从别处摹来的，但不知是何人所书，以及该墨迹如何被带到清源山的。

北宋有个书画家，名叫米芾（公元1051-1107年），字元章，襄阳漫士，号海岳外史。居山西太原，后迁居湖北襄阳，晚年居住在江苏镇江，曾任书画学博士，官至礼部员外郎，人称米南宫，又因举止癫狂，人称米癫，平生爱石如命，见石就拜，“米癫拜石”曾被后人传为美谈。他与蔡襄、苏东坡、黄庭坚并称“北宋四大书法家”。绍圣四年（公元1097年），他从汴京乘船南下往扬州赴任。沿河两岸一马平川，到盱眙县，只见城东有座山，称南山，便舍舟登山凭眺。一上山，顿觉耳目一新，连声称赞，随即脱口而出：“京洛风尘千里还，船头出汁翠云间。莫论卫霍撞星斗，且是东南第一山。”山僧急忙捧出文房四宝请他留墨迹。米芾兴致正浓，挥毫书下“第一山”三字。尔后寺僧刻石立碑在山坡上的玻璃泉旁。

再说，绍兴年间，尚书李邴酷爱书画，几经周折，保存了这一墨迹。后来，李邴落职寓居泉州，在清源山龟山下“醉月岩”构室隐居。见清源山山川峻秀，便把“第一山”刻于碑上立在妙觉岩下。明末战乱，南山上的“第一山”被毁，直到清代，泉州人氏郭某为盱眙县令，便把清源山上的“第一山”拓纸带回盱胎，刻石立碑于原处。所以如今所见南山上的“第一山”与清源山上的“第一山”完全一样。