扫叶楼始建于1664年，明清式样，砖木结构，覆小瓦，二层，建筑面积约400平方米，占地面积约270平方米，楼前翠竹婆娑，绿树掩映，平台远望，楼后庭院内假山层叠，与善庆寺前石阶结合一体，善庆寺亦明清式样，建筑面积929.7平方米，占地面积1430平方米。1979年重新修复扫叶楼时将楼后庭院与善庆寺连成一体，成为一组结构完整、景致优雅的古建筑群。
扫叶楼系明未清初“金陵八家”之首龚贤晚年居所，因其自写扫叶僧状小像故名。龚贤（1619－1689）字半千，号半亩居人，清凉山下人等。清军攻占南京后，龚贤悲愤出走，漂泊海安、扬州等地十余载，晚年回归南京购清凉山荒地半亩，建屋四椽，号“半亩园”，栽花种竹，深居简出，不事权贵，以卖字画教学为生，悠闲自得，著有诗集《草香堂集》和《课徒画稿》。清咸丰年间，楼毁于兵火，光绪十五年（1889）奉敕重建，1901年与1914年两度重修。
“文化大革命”中遭破坏，1979年10月修复，并将楼后善庆寺与楼侧茶社以花墙围之，构成一组古建筑群。为了弘扬民族优秀文化传统，增进国际国内的文化艺术交流，亦为纪念龚贤这位卓越的爱国画家，政府投资于2000年初在“龚贤故居”的基础上设置龚贤纪念馆。纪念馆的门楣上有当代著名书画鉴定家徐邦达题写的馆名，一楼为展示厅，集中展示当代著名书画家林散之、萧娴、陈大羽、费新我等书写的与清凉山有关的诗篇以及龚贤的诗句。楼上为陈列室，陈列柜中展示的是龚贤书画精品及诗文研究成果。楼后两个展厅不定期举办当代名家的书画艺术展览。
该纪念馆是一座集陈列、展览和学术交流为一体的高雅文化场所。扫叶楼1957年定为江苏省文物保护单位。
