据史书和碑碣记载，唐贞观年间在此建庙曰“圣水宫”，其鼎盛时期在金元，曾是全国道教三大圣地之一。此处原有一庵，名“圣水庵”。据1987年在现玉虚观遗址西侧出土的一块残碑记载，圣水庵始于汉晋，距今近两千年。另有传说，唐太宗时曾派尉迟敬德在这里监修宫观。根据现存“玉虚观碑”文记载，金大定丁未（1187年），道教全真派七子之一王玉阳及其徒众在此茅庵-。承安丁已（1197年）牒敕赐额曰“玉虚观”。翌年，王玉阳为章宗皇帝讲完道学，携御赐金帛及道经一藏回到这里，约集善众门人“献木”、“献谷”、“剪荆芟草”、“夷峻堙谷”，扩建殿宇楼阁、亭台桥榭。金至宁元年（1213年）又牒赐“玉真观”，即“万寿宫”。至此时，王玉阳在此地开创了全真教嵛山派，大开教门，济世布道，使这里名扬宇内。此时“玉虚观”“苍松偃盖，古桧潘龙，碧瓦鳞鳞，朱门赫赫，神仙异人出没，天地英灵自然之气相聚。游人云集，香火竟夜”。“玉虚观”如此壮观，加之有“虎涧春云”、“御碑濯雨”、“石柱撑霄”、“竹园遗翠”等美景及紫气谷、石燕坡、鸣钟岩、佛顶峰、二姑顶等名胜，使这里成为当时名闻天下的道教圣地之一。元代大文学家元好问在《怀州清真观记》中称：“天下道院，武观为之冠，滨都次之，圣水又次之。”可见“玉虚观”在当时盛名天下之景象。

“玉虚观”自金至明清，屡经修葺，规模不断扩大，据《宁海州志》记载，清咸丰四年（1854年）最后一次重修。重修后的“玉虚观”殿阁庄严，碑碣林立。主要建筑物有老祖殿、老母殿、三清殿、三官殿、三义殿、玉皇客、万寿宫等。其中最宏伟的是玉皇阁，俗称八角琉璃殿，分上下两层，其下以12根八角石柱凌空支撑，上层为斗拱飞檐结构，内塑玉皇大帝像，阁顶覆以绿色琉璃瓦。其结构之奇特，造形之宏伟，装饰之堂皇，为天下道院所仅有。万寿宫是玉虚观主体建筑之一，宫内塑有全真道祖及全真七子像，其内雕梁画栋，金碧辉煌。然而因历史、自然等原因，玉虚观多经烧劫破坏。如今，这些古建筑已毁去十之八九。

今日玉虚观，由玉虚观管委会在各级领导的支持下和乳山道教协会以及同道契友的期待下，主持重建。作为乳山市重点打造的休闲养生旅游大项目之一，圣水宫可谓集自然景观、人文文化于一身：既有大自然鬼斧神工造就的奇山圣水，又是一座天然的文化宝库。不必 说它作为全真道嵛山派发祥地在道教史上的重要地位，单就文人道士或吟诗作赋、或铭碑刻石、或凿洞建庵所遗留下的文化痕迹，便是我们的珍贵财富。重建后的玉虚观，包括山门、玉皇殿、七真殿、救苦殿、三官殿、万寿宫、三清殿。庙外建有财神宫、老君洞等。新建后的玉虚观主体建筑为玉皇殿，供奉金阙至尊玉皇大帝，为主体建筑之一。而原来供奉全真道祖和七真的万寿宫改为供奉净明许真君，七真殿供奉七真。虽然古时浓郁的道家气息已渐消散，但游人至此，凭吊仙迹，聆听神话，也会肃穆之感油然而生，悚悚之意久久难却。

按照规划，重修后的景区将建设文化古迹旅游区和自然生态旅游区两部分。其中文化古迹旅游区，在圣水宫原址的基础上，按照史料记载修复老祖殿、三义殿、玉皇阁、万寿宫等古建筑，整修圣水岩、玉阳洞天、白虎涧等遗迹，并在山顶新建全真教祖师王重阳及全真七子仿古铜玻璃钢雕像。在自然生态旅游区中规划建设植物观赏园和花卉园，大规模提高风景区的绿化率，有计划地引植适宜在北方生长的奇木异花以及桃、李、梨等水果品种和核桃、板栗、银杏等干果品种，形成不同的植物带状区域，使景区内一年四季桃红柳绿，真正成为世外桃源式的历史文化旅游区。

保存尚完好的景观——“玉阳洞天”，上有王玉阳亲笔石刻“圣水宫”。 “全真七子”中的玉阳真人一生云游四方，而圣水宫是他兴教布道的主要圣地。