胡耀邦祖居地位于高安伍桥镇境内的蔡溪胡村,距市区25公里,蔡溪胡村地处风景秀丽的华林山的南端。明正德中叶胡耀邦的祖先,由此迁居湖南浏阳文家市,其子胡德平先生曾多次到高安寻根问祖。该村还保留明代官厅一幢,虽已破烂,但明代建筑风格犹存,据考证曾是胡耀邦祖先的居住房。