原任国家主席杨尚昆同志的祖籍在黄溪，其七代祖杨光基是黄溪杨祖发（兵部侍郎）十二代子孙，杨光基之父杨通辉官四川，致仕回故居黄溪，修建此居（即窨子屋）。始建于清康熙四年（1665），高墙围立，坐北朝南，六进二层，主大门为“八字大门”，雄伟壮观，东西各设小大门。屋内设正房、厢房、中堂、茶堂、厨房、金库、天井等，总面积为600平方米。
通辉60岁生光基，90岁卒，葬黄溪祖山坪骆驼背包形，“背包 ”意整装待发，准备远征，发迹在外。辉卒于七年后杨光基37岁，为开拓新的基业，便售宅作盘缠，携妻儿（子四：昌仁、昌义、昌礼、昌智。川生昌信、昌德）于清康熙三十五年（1696）由黄溪远迁四川蓬溪县东之姬坝安家落户。四子昌智传三世孙世绥弃农从商，又移迁双江镇定居，家发人兴。但其传世字派仍沿用老家黄溪杨姓字派，即从明朝开始启用：“文子通光昌俊秀，世传宣尚绍先宗……”清乾隆三十四年（1769），“昌、俊”辈一行数人千里迢迢专程从四川来黄溪同父老乡亲团聚，并给先祖杨通辉等扫墓立牌（现存完好，字迹清晰）。
解放战争期间，杨尚明（尚昆七弟）路过湖南，特意到辰溪县找过黄溪（1943年1月前隶属辰溪县辖地，而周围村组均属黔阳县地），但只找到“黄溪口”，而且没有“祖山坪”等，未能与黄溪族亲共聚遗撼而去。1989年7月，在《东西南北》杂志第六期，杨尚昆故里行一文中发表，其世系字派与黄溪一样，经深山寻莹派人赴川核对双方族谱，完全确认双江杨氏是黄溪杨氏的一个分支，杨尚昆是杨通辉的第8代孙，其祖籍在黄溪，祖居遗址存。1990年3月，双江杨先佐，杨先骥、杨宗岳等3人专程从四川省潼质县双江镇来黄溪与族亲叙述离别多年的骨肉之情，并一起给杨通辉等先祖扫墓。地志办、市志办等单位领导热情接待了他们，市档案馆印存了一套双江〈杨氏族谱〉。1992年4月，76岁的杨尚颜老人（尚昆堂弟）又专程由四川来黄溪，与族亲一起给杨通辉扫墓、立碑。怀化市政府、市政协、市志办等单位领导热情接待了杨尚颜老人。1991年3月，怀化市委常委杨连贤和市志办等领导专程赴成都拜见杨尚明老人，由他开具介绍信转赴北京杨尚昆主席，想敬请他老人家题词《怀化市志》名，赵秘书长转达杨主席指示：“感谢怀化人民和黄溪父老乡亲为我找到了祖籍”。
