张良功成身退，云游天下，而后追寻炎帝神农足迹，来到耒水河畔。寻得一洞穴隐居，按道家养生之术，奉行导引之法，潜心修道养生。在此洞度过两年后，汉高祖驾崩，吕后垂帘听政，并召其返回京师。汉惠帝二年，张良又坚辞吕后，回洞潜心修道，八年后无疾而终，谥文成侯。张良洞位于耒水中游，始叫万年洞，又叫锄云洞，后人为纪念张良归隐于此，遂叫张良洞。张良在岩壁上题有“洞灵源”三个大字，落款“汉佐张良书”。洞内空阔深幽，景象万千，其中有十大景观最为游客所称奇：通三眼、保温洞、独角兽、擎天柱、张良榻、张良座、万民伞、飞来钟、千人锅和石布波。

后代前来拜谒张良洞的名人雅士络绎不绝。唐代文豪韩愈贬潮州，途中谒张良洞，题字“还我本来面目”。宋进士李芮（耒阳人）、明地理学家徐霞客、清状元彭浚和何绍基等名人均到此游览题咏。