黄宾虹生于1864年，于1955年去世，名质，字朴存，号宾虹，祖籍歙县，是与齐白石齐名、享有“南黄北齐”之誉的国画大师。先生1864年出生于浙江省金华市，光绪二年（1876年）回家乡参加童子试后，在这里生活了近30年。这幢砖木结构的民宅，建于康熙年间，已有三百多年的历史了，系黄宾虹祖上所建，现存有铸园、卧室和画室三部分。故居在歙县西潭渡村。林木葱郁，景致优美。为清代建筑，砖木结构房屋，正屋是三开间楼房，前有庑廊和天井。正屋宾虹题名为“宾虹草堂”和“虹庐”，庑廊前有小院，庭院西侧台阶边有一块玲珑剔透太湖石的建筑是“玉森斋”。人称之为“石芝室”或“石芝阁”。黄宾虹先生不但是杰出艺术大师，还是一位坚强的爱国主义战士。故居的“铸园”就是因为1907年，黄宾是秘密秘密参加推翻清王朝的革命活动，在此为同盟会铸造钱币，支援抗清斗争而得名。1984年，黄宾虹先生诞生120周年，家乡举行了隆重的纪念活动，邮电部发行了纪念邮票“黄宾虹”小型张。国家拨款对黄宾虹故居进行了全面整修，并征集了众多的资料陈列展出，对外开放。故居被辟为“黄宾虹纪念馆”。现书房、卧室基本保持原样。
