相传，古代高要有个名叫黄十五的青年，因家乡连年水灾，生活无着，迫于无奈离别了妻儿到广西百色地区谋生，一去五年，音讯全无，他的妻子十五娘急忙托人去找寻他，黄十五才写了一封信回来，这封信是他丈夫请秀才写的，略识几个字的十五娘根本上无法看懂，于是拿了这封信请同村的一位老先生解释。老先生一面读一面讲解道：“你丈夫说，离开你已经五年了，每想到乡亲人心里苦得象吃了中药的三黄：黄岑、黄柏、黄连一样，我在外一直找不到工作，只好向千家乞讨，有时找到工作，也是替大户人家做帮工。我曾经日间挨家挨户唱龙舟化钱，到了桂平，在大渔岗的幸福庙走廊住了四个月，这时候，我的衣服破得象白云，一片片，衣带断了，一节节续回来，象竹枝一样，帽子已经破烂到象大海无边；鞋底已穿洞了，像长江深不见底，到了百色以后，我在广茂商店的老板那里打工，住在放柴的‘西床’上，白天我得象牛一样挑水，晚上还要敲更梆守夜，在‘西床’，我睡的是稻草，因为荷包里没钱，使人四起，即打开来看火起（恼火），掉在地上跳起，系在身上卷起，丢到水里浮起，如果帆船方便，我愿意帮人打工，从峡山旱路回家乡。”听完老先生的讲解，十五娘简直呆了一样，没有声音没有泪，丈夫外出如此受苦，她内心怎能忍受得了！从此以后，她日又盼夜又想，盼望着丈夫回来，她记住丈夫信里最后一句话“倘有便帆，起旱回乡”。于是，天天到峡山旱路眺望，只要有船从峡中经过，她就大声问：“我夫归未？”日复一日，十五娘声嘶力竭了，丈夫黄十五还没有回来，而这位盼夫断肝肠的十五娘却在极度哀愁之中死在江边这座山上，当时天地动容，雷雨大作，倾刻间十五娘竟成了化石，屹立在江边山头，“我夫归未”的哀鸣，随着风声，常常在峡谷中回响，而山顶上的巨石就成了望夫归石。

但千百年来，水声依旧，山石依旧，唯有后人题上的伦文叙之诗还依稀可辨：白石佳人在海旁，天为罗帐地为床；日为宝镜朝朝照，月作银灯夜夜光；千载不梳龙凤髻

万年不换紫罗裳，可怜不见亲夫面，痛倚江干恨断肠。”