吟社始建于明代成化年间（1482）。北宋文学家秦少游后裔无锡士绅秦旭(1410—1494年)，是地方上有名望的文坛耆老，自幼博学强记，每日读书后作札记数千言，诗有陆游风格，喜山泽之游。儿子秦虁，是秦氏迁锡后的第一个进士，出任武昌太守。秦旭在成化年间择地惠山寺龙泉精舍处，建造十老堂，筑“撚须、流馨、借山、濯缨”四只亭子，凿“涵碧池”，开“芙蓉径”，堆“古木坡”。形成长杉落荫、修竹茂林的景色，同无锡的十位老人在此结社吟诗作词，初名“十字社”，后改名“碧山吟社”，是无锡历史上较早的一个诗社，也是后来无锡东林书院的先声。

据邵宝记载，这十位老人是：秦旭，字景旸，号修敬，85岁；李庶，字舜明，号絅庵，86岁；陈履，字天泽，号逊庵，83岁；陆勉，字懋成，号竹石，82岁；高直，字惟清，号梅庵，79岁；黄禄，字公禄，号杏轩，73岁；杨理，字叔理，号听玉，72岁；陈公懋，字行之，号玉溪，69岁；施廉，字彦清，号北野，61岁；潘绪，字季方，号玉林，未及60岁。这十位老人，每风日暖和，坐以齿列，凡感时触事，吊古怀人，作耆英之会。规定十人之外，不参俗客，只有惠山寺僧觉性，不召自来赴会，一会一诗。论诗时，有燕肴数盘，饮一盂，酒八九行。

在吟社建立60多年后，明代嘉靖年间，由无锡名士顾可久、华察、王问等重组吟社。到了清初秦旭第九世孙秦松龄又结渡假社，还把碧山吟社的唱和诗作编成《碧山集》。后来碧山吟社被长期湮没，直到辛亥革命后才找到了吟社的匾额，并由唐文治撰写了《碧山吟社刻石记》置于吟社后院的岩坡左侧。

20世纪50年代吟社才逐步恢复旧貌。1982年进行了大修，门前横立一石，镌刻明代状元吴宽的一首诗，吟咏碧山吟社初创时的盛况。