很久很久以前，游老山还无正式名字，整个山岭被茂密高大的松柏覆盖。当时有一位游道被这里秀丽的风景所迷，于此安家修身务道并筹建庙堂，带动安、何、魏三族联合募捐钱粮，在山顶建石木结构庙宇一座，并在庙内雕塑观音及刘备、关羽、张飞的神像，庙门前有三棵参天古柏。据传通江县民胜场有一位老爷，早上洗脸看见面盆里显有三棵树影，他左右环视，附近并无大树，后来他一路访来，才知道是游老山之三棵树的倒影。接着，人们又在山顶四周用石头建起五尺余高的寨围，东西各一寨门，成了“一夫当关，万夫莫开”的关隘。后来还利用部份建筑辟为学堂。民国十五年，王家如、韩思齐在庙上教过书。当时为纪念这位游山道人，人们就把此山命名为“游老山”。

1958年至1962年间，山上的松柏树木陆续被伐，庙宇被拆，这一名胜帷存遗址。