遗址位于日土县日土村，距日土县城20公里。据传，城堡前身是’门人’，在形似大象俯卧的土山上所建的门卡。7世纪前，“岭”国大将贤巴敏如泽在此山以东建立贤巴卡尔城堡，贤巴去世后葬于此。10世纪末，当地头人昂巴在山顶西面建新密派卡噶佛殿，主供佛为密宗事部三枯主，殿内有精美的壁画和《般若经》。元初，竹巴噶举派依山而建日布丹佛殿，殿内有竹巴噶举派大师塑像，墙壁偶静猛天众神的壁画。15世纪(元末明初)，萨迦派在山以东建夏巴殿。17世纪，格鲁派在山的中央部位修建伦珠曲典寺，在西坡建立分庙—果奴殿（尼姑庙）。17世纪初期，日土宗本在山坡最西边建立宗政府城堡。18世纪，又修建主持堪布的拉让宫殿，共有两层。山下有朵盖齐本的诸多建筑。此后统称为琼宗噶莫城堡，又因城堡的山体形状与建筑布局与布达拉宫相似，故称“小 ”。文革时期，当地群众在墓葬中挖出贤巴尸骨及衣物、陶罐等陪葬品。