清光绪中期，接霞庄已是颇具规模、装饰华丽、非常繁荣的村庄了，由于庄内全是赵氏一族，人们称它为“赵家庄”。房屋的设计均仿照广州西关模式，聘请当时佛山的著名建筑师建造，科学规整。一条长132米、宽4.3米的石板街横贯全庄。村中有一座三进、占地面积1000平方米“赵氏家塾”崇基堂（祠堂）。南边被一条护庄河、绿竹及四米高的围墙围住。庄外林中建有霞山祖庙。全庄5个闸门，均有专人看管，整个庄园在青山绿水、翠竹与鲜花丛中，有如世外桃源。

赵家庄管理强调自律，重视礼教，训联“棣庭贻孝友，桂苑大文章”高挂在崇基堂，男女老少崇尚团结，讲究礼仪，邻里关系和睦，良好民风延至今天。庄内祭礼、婚嫁等习俗精彩绝伦，对周围百里乡村影响重大，多有仿效。

赵家庄人以经商发家稳家，积聚了雄厚财富，加之有人在朝为官，如当时的广西巡抚黄槐森就是该庄族人的亲家，可谓财雄势大，繁盛景象雄极了数十年，“赵家庄企倒香山县”这一俗话一直流传至今，足见其当时影响力之大。到清末民初，家族开始衰落。目前该庄基本面貌仍得以保存，现存古屋14座，建筑面积7千多平方米。2007年12月被市、区旅游部门定为斗门八景之一。2008年，被评为广东省古村落。