传说牛头寺第一祖师遍照禅师道行高于净业寺创始人道宣律师。一日,遍照应道宣邀请赴宴,知其有比高下之意,遂负一牛头前往赴会。道宣设宴招待,但柴火不济,菜肴未能及时做好。遍照一再催促,并说:“菜既未妥,我负一菜,请试用之。”便将所负牛头置于案上,自己大嚼起来。吃罢,坚辞离去。道宣追至沣峪口外,见遍照正在峪右破腹洗肠,深服其道行高于自己。从此,人们将遍照禅师称为“牛头师”,将他所创建的寺院称“牛头寺”。
有说牛头寺原为卧龙寺下院。牛头山慧融创立牛头宗,属禅宗七小宗派之一。遗则对这一经法的阐释有突出贡献。
解放初,牛头寺占地仍有20余亩,有大殿、金刚殿各3间、僧寮10余间,寺塔不知毁于何时,但殿宇内佛像尚存,大殿前有石经幢二座,一为沙门词浩书,乾符六年(879年)立的陀罗尼经幢;另一座为不空和尚翻译的阿闇如来根本灭恶趣陀罗经幢。今仅余大殿3间,僧寮7间,石经幢1座,殿前的两株龙爪槐“形如华盖,四时皆花,”以奇绝著称的“四季柏”,依旧苍郁。