一千多年以前，我国古代卓越的地理学家郦道元在《水经注》中这样记载过：“涟水东入湘乡，历经石鱼山，山高数十丈，广十里，山下多元石，色黑而理若云母，凿开一层，辄有鱼形，鳞鳍首尾，宛若刻画，长数寸，鱼形备足，烧之作鱼膏腥，因以名之。”

石鱼山的“鱼”千百年来一直吸引着人们来这里游览、寻觅。六朝名人张正就曾游览此山，见石作赋曰：“鱼跃湘乡之水”，并镌石立碑。唐朝时，文学家段成式也曾来过这里，在《酉阳杂俎》中，记述了他在石鱼山的见闻。

石鱼给人以奇特神秘之感，它就是一种石。据考证，在几百万年以前，湘乡的湖山及至苏坡乡一带是一个偌大的湖泊，湖泊里生长着鱼和其他浮游生物。后来，由于地壳的剧烈运动，这些生物一批一批被埋在泥沙下面，长期受着压力和地心热力的作用，泥沙形成为岩石，鱼经过炭化也就凝胶在岩石层中，成为化石了。

石鱼，可以说是一种反映地质演变的艺术珍品。它不仅能给人以古朴纯真的享受，而且能给人以知识的启迪。1958年修建湘黔铁路时，路基穿过石鱼山，曾发现大量的石鱼。现在，虽然此山已奠于铁路之下，但铁路两旁仍有鱼石披露，倘若开发，动辄有“鱼”。