据《地方志》记载，听枫园在庆元坊12号，面积7亩，内花园1．7亩。1985年苏州市国画院迁入：该园1982年被列为苏州市文物保护单位。
该园在旧小市桥(民国17年左右废)东，传为宋天圣(1023——1031)吴感红梅阁旧址。同治三年，曾署苏州知府的湖州吴云(字平斋)筑宅于此。宅门在金太史巷4号。现市第二中学校办厂及园南沿金太史巷民宅，原为吴宅的门厅、轿厅、大厅及楼房，今园仅为宅东北隅的书斋庭院区。
园内有古枫，故名听枫园。吴云自称，宅居不广，小有花木之胜。俞樾亦以听枫园之“精”与自有曲园之“微”相评量。吴善书法，富收藏，室中左图右史，钟鼎罗列。吴昌硕曾教馆吴宅，住园中。光绪九年，吴卒后家渐中落。宣统二年(1910)，朱祖谋(字古微)寓此。民国17年园归陈姓，曾获修治。其后屡更园主。
解放后，园相继由教师进修学校、市第二中学、苏州评弹研究室、评弹团使用。花园内建筑被分隔为职工宿舍。“文化大革命”期间，假山被拆走，其上墨香阁被毁，堂构破旧失修，庭院内搭建铁架天线一座。花木凋零，1979年安排下放回城的评弹演员10余户居住。庭院中搭棚治饮，1983年园中单位与居民迁出，5月文化局修建站动工整修，耗资14．8万元。
完成建筑面积660平方米。其中1/3系重建或落地翻修。1984年末竣工。
听枫园以亩余之地，回环缭曲，划分组合为大小庭院5处。主厅听枫仙馆居中，其南北有庭院各一。南院花木茂盛，东南隅堆假山，两罂轩(吴云曾收藏两齐侯罂于此，故名)、味道居、红叶亭(现名待霜，古枫已不存)、适然亭诸建筑依廊连属。
馆东为昔吴云书房“平斋”，其前叠湖石假山，循蹬道至墨香阁，阁下层隐伏山中，上层突兀山巅。有花墙与他院分隔，斋阁自成院落，为全园精华，现已和南院联成一片。北院有清池一泓，金鱼成群。严冬池中绿萍如春。池畔有旱船半亭，花木峰石相映衬。此外，在味道居、两罂轩处亦各置小院-园东有曲廊小轩，今为入园门厅。
