顾氏“环秀居”后楼则位于城西翁府前环秀街。据《虞阳说苑·笔梦》记载，该处原为明代万历间御史钱岱故宅中的一个小园，后被清中晚期藏书家小石山房主人顾湘购得，复修葺而成。该园现仅存后楼一座，为清中早期建筑，一共二层，三开间加东西耳房，上层为扁作梁架，山雾云、棹木等构件雕刻古朴大方，正间五架梁、三架梁用材硕大，跨度超常，整体建造工艺精湛，实为难得。