历代醴陵兵祸，元末最惨，争战频繁，烧杀抢掠，加上灾疫不断，幸存者多外出逃生。县境仅存两百来户。民国版《醴陵县志》载：“丁、李、席、闵、彭、简、黄等18姓居民，结伙避居建安山，建寨以求自保”。传说山上居民，为迷惑过往军队，编织大于常人两倍的草鞋，锤软使变旧，丢弃于靠山脚小路旁。路过士兵偶见山上炊烟，欲寻路登山，见硕大草鞋，以为山上有神人（一说野人），不敢上山。

留仙寨田土极少，居民靠猎野味，采食草根树叶充饥。日常不敢轻易下山。偶因急要事上下山寨，只能攀枝爬岩。除留仙寨外，另有20多姓居民散居各偏僻山乡。现醴陵居民，大多为明、清两代来自江西以及广东、福建等地移民的后代。后人称避乱留仙寨的18姓居民为老寨户。

明初，时局平稳后，寨户返回祖居前，商量以后每年在留仙寨重聚一次，并在山下建有相聚时食宿的公舍。还碎釜为18片，各姓执一片为凭证。因年代久远，周年团聚事逐渐淡化而终止。“寨下”地名由此而来。留仙寨山顶，仍留有寨基遗迹，当地称为城墙坪。

在醴陵沦陷期间的1945年春，别动队一大队派一6人战斗小组，在留仙寨构筑工事，利用大雾掩护，抵近作战，抗击配备钢炮和机枪的三百余日本侵略军，以一死一伤的代价，毙敌40余人。