名称由来仙女山最早的名字“飞来峰”，传说是秦始皇用鞭抽来的。后因形如羊蹄，亦名“羊蹄山”。又传楚怀王于此地梦游阳台与神女相会,又叫“阳台山”。清康熙年间，山上长满灵芝，传有仙女采芝，称之“采芝山”而“仙女山”这一名称则始于一个传说。相传很早以前,住在山麓马家湾有一姓卞的人家,父子相依为命,靠种菜砍柴为生，儿子辅华为人忠厚,孝敬老父,深受乡邻喜欢，因家境贫寒,二十好几尚未成家,老父为这事着急。

有一年春天,辅华种了满园丝瓜、日夜精心培育、不料只活了一颗瓜秧，第一年只长藤叶，第二年只开了一朵花，第三年才结了一条五尺长的大丝瓜。这丝瓜晚上还能放出五颜六色的光彩。老人怕不吉利，总想把它摘掉，辅华却舍不得去摘。一天湾里来了一个云游道人，到瓜园边不住声地唱道：“好地气，好地气！”父子俩闻声赶出门去来，再三询问。道人才说：“中秋节夜子时，可将此瓜放到山上那一仗见方的洞口就会见分晓，切记！切记！”说完人就不见了。

父子二人很惊奇，明白是神仙下界点化，就把道人的话牢记心里。中秋节夜，辅华于子时前往山上，一连绕山走了三圈，未见有洞。正犹豫间，突见前面金光一闪，现出了一个大洞，辅华赶到洞口将丝瓜放进洞里。只听轰隆一声巨响，洞口出现一道台阶直通洞底。

辅华顺着石阶步入洞底，见洞内有一石床、床上坐着一位年轻漂亮的姑娘。她见辅华就叫道：“这位大哥，快救我出洞！”辅华问：“大姐是那家闺秀？因何被关在洞中？”姑娘含羞地答：“我家住在蓬莱，姓杜名媪，因与大哥有一段姻缘，便偷偷离开瑶池，不料被王母娘娘发现，将我压在这山内。太白金星为了成全你我，就命地藏王将开山钥匙化作丝瓜，让你开洞救我。”辅华一听，急忙扶着仙女出了洞。一声巨响，洞门又关了。第二天，仙女和辅华结婚了，婚后，杜媪仙女为病人采药治病，教村姑纺纱织布，深受乡民喜爱。不久，他们的婚事被王母娘娘发现,王母娘娘拆散了这对美满夫妻，将杜媪仙女压在“采芝山”底。乡民们为怀念杜媪，感激她的功德,捐资筹款在山顶修了一座“仙女庙”。卞辅华也入庙为僧，终日守在“仙女庙”。自此，人们就将采芝山改名为“仙女山”了-。

仙女山山顶曾修有仙女庙，仙女山脚下有当时楚国最高军政长官——令尹子文墓、祠，山南半腰有仙女洗澡的地方——娘娘井，在仙女西北极幽静、偏僻、木竹丛生的山腰间，有一静释释庵，仙女山北300米处，有关公磨刀的磨刀石等等，风景 仙女山美景

名胜数处。

辛亥革命武昌起义，汉川籍的四川革命军-总司令兼川江巡逻使梁耀汉，参加和领导了四川保路运动和新军起义，民国成立后，奉命回鄂途中被乱军杀害，葬于仙女山，孙中山先生为其亲笔题词：梁耀汉革命奋斗，不幸遇难，忠魂毅魄，永远长存。新中国成立后，许多革命的老同志，如程敦秀、夏昌银也先后安葬于此，所以仙女山南腰，又成了瞻仰革命先烈的地方。