民国四年（1915年）《重修蒙城县志》记载，城内华祖庙在北大街路西（现城关医院斜对面）。

华祖即华佗（？－208），汉末著名医学家，又名旉，字元化，沛国谯（今亳州市）人。精通内、外、妇、儿、针灸等各科，尤其擅长外科，创用“麻沸散”，给患者-后施行剖腹等手术。还创编“五禽戏”，教人锻炼身体，增强体质。据说曹操常患“头风”，华佗为他开颅治疗，病情大大好转。曹操征华佗专为自己治病，华佗不允，曹操怒，将其杀害。

为了纪念华佗，各地建起华祖庙。蒙城不仅城内有，一些大的集镇也有。可以推断城内的华祖庙规模应该和小涧华佗庙基本相同，也应初建于唐朝初年。

解放前，城内的华祖庙已毁坏殆尽，只剩下三间庙屋，且已破烂不堪。解放后，曾进行过维修保护。文革初期，华佗像被毁，后来庙屋也成为民居。1996年，北大街仿古改造时，在原址新建华祖庙，仍为三间，面向南，东西长约十米，南北宽不足五米。下为廊柱式，廊宽约一米，两根红色大柱。墙为深灰色，砖缝勾勒为白色，整齐划一，上为轿顶式，四角飞檐。整体看来，规模甚小，但较为美观。内无塑像，空空如也。