据《乐安民国风云》一书介绍：到民国，县城鳌溪镇形成了游、何、元、詹为主四大姓氏，辅之乐、陈、胡、李、邹、黄六姓氏的格局，这10姓人口占县城总人数的90%以上。

这些姓氏以宗祠为中心，形成固定的居住区域，如詹氏在芜塘巷四周；游氏环绕宝塔巷，居于小南门和南门巷；元氏大都居住在北门和东门巷；何氏居民主要居住在西门巷。

民国时期，县城主要街道为东门口至衙前巷，全长约3华里，街道中心铺长条砂岗岩石，沿街有店铺一百来户，多数为“前店后房”结构。衙前巷是该县唯一保存比较完整的砂岗岩条石路的街巷，芜塘巷的司马第由三座门门坊穿插，显示了詹氏家族不凡的气度和人文底蕴。清末民初，乐安游氏富甲一方，经营传承数代人的“游泰顺”商号是县城最大的商号，其在省城南昌有三家分号，乐安周边乡镇还设立了分店和毛边纸作坊17处，穿过游氏总门，可看见这两处宗祠建筑。

“游氏大祠”始建于明代，清代维修过，周恩来同志曾在此居住。1932年8月17日，红一方面军攻克乐安城，当天晚上，苏区中央局在周恩来住地“游氏大祠”召开县城商人会议，宣传党的工商业政策，为中央苏区做出了样板。次日，红一军团指战员开赴宜黄，乘胜攻克了宜黄城。

乐安县城还有大元巷的“毛泽东同志旧居”，在抚州，只有乐安县城有保存完整的两位领袖人物旧居。1932年8月，毛泽东在乐安县城最后一次指挥了中央苏区第四次反“围剿”前期的一次战役——“乐宜战役”。