常熟言子祠为明代建筑，占地总面积为1008平方米，是祭祀孔子唯一的南方弟子——言子的专祠，该建筑是常熟保存最早的古代官式祠庙建筑，也是全国唯一一处在文庙范围内，单独设祠祭祀孔子学生言偃的建筑。

　　常熟言子祠，初名吴公子游祠，南宋庆元三年（1197年）知县孙应时建。端平三年（1236年），知县王爚迁建言子祠于文庙之后，是为将言子祠纳入文庙建筑序列之始。明成化二十二年（1486年），重建言子祠于文庙（大成殿）东，弘治十三年（1500年）重修。清康熙间（1662-1722年）圣祖南巡御书“文开吴会”额，乾隆十六年（1751年）高宗南巡御书“道启东南”额，曾俱榜祠中。同治十一年（1872年），两江总督曾国藩再修。

　　常熟言子祠今存三进：第一进祠门、第二进仪门与西厢房、第三进享殿，均为明代建筑。其中享殿外形为方三间单檐歇山顶，面阔和进深均约10米，构架为四架梁接前后乳栿四柱八架椽，圆作月梁造，柱为楠木，粗犷而不失精致。

　　现在常熟城中，现存的言子遗迹有言子旧宅、言子墓、言子故里亭等。它们零星散落在常熟市区的各个地方，供世人瞻仰。

　　常熟言子祠占地总面积为1008平方米。1982年被公布为第三批江苏省文物保护单位。2019年被公布为第八批全国重点文物保护单位。