吴棋记民居位于佛堂镇大文头35号，民国时期古建筑。为当时佛堂富商吴茂棋(1890年—1973年)所建，冠以吴茂棋的店号名。它是义乌现存的唯一一幢砖木结构三层半高的老楼房。关于吴棋记的建造时间，现有两种说法：一种是民国24年(1935年)，另一种是民国29年(1940年)。

整体建筑分前后两进三开间，前进三间楼下厅，后进是中堂和正房，左右厢房各六间，成井字形弄堂。雕梁画栋的深深庭院，工艺精美的浮雕古趣，天井里苔痕历历，石阶茵茵，口衔春泥的燕子在廊檐间飞来飞去，平添几分乐趣。庭院中间砌有两口方形水槽，一泓碧水映青天。

厅内歪斜的柱子是吴棋记的一大特色。柱子虽歪，但整幢房屋周正，不差分毫，显示了工匠的高超工艺。

吴棋记的另一特色是钟灵毓秀的雕刻。梁轩额枋、牛腿挑廊、栏杆棂，或镂空或浮雕，取材戏曲人物、渔樵耕读、鱼藻花鸟。从一雕一刻中，可以读出三国演义、二十四孝等人物典故。无论是生动细致的牛腿、古香古色的门窗、别具匠心的梁栋，抑或是浮雕、圆雕等精巧工艺，在岁月的流逝中仍显当年神韵，可谓江南一绝。