双溪书阁，位于城北三里的耸云山南麓双溪江合处。
据《宋史》和《荣县志》记载：北宋元丰末年，王梦易罢官回荣州，仿效陶渊明不为五斗米折腰，在家乡双溪河畔筑“归来亭”，第二年病故。其子王庠王序尚幼，向夫人筑石室，请名师教育二子。后来王庠品学兼优，娶苏东坡侄女为妻。八行考试，全备为天下第一，为奉养母亲，不愿做官，被朝廷表彰为“廉汛处士”。王序官至晦猷阁直学士，鄜廷路经略安抚史。王序罢官后，又在双溪河畔建书阁，内藏皇帝的诏书和赏赐的书籍，以此炫耀。书阁在宋代叫横溪阁，因地处双溪汇流，景色秀丽，远山环抱，遂成荣州人们游览之地。陆游曾几度游此，赋诗饮酒，留下《晚登横溪阁》诗二首和《沁园春·三荣横溪阁小宴》三阕。
随着时间推移，归来亭和书阁早已不存。清光绪年间，县人揣度旧址重建座北向南的单檐悬山式木结构建筑一幢，面阔5间25米，进深5间7米，中间建楼表示书阁，四周走廊，供游人游览，占地面积230平方米。北面对联一幅》“大宋小宋，大苏小苏，一朝难弟难兄，此地有二王合传；古文今文，古体今体，独占好山好水，何人更高阁藏书？”
阁的难免正中一块大匾，上刻“横溪阁”三字，两边柱上悬挂一幅赵熙书写的对联：“北宋古书阁，东坡同党人。”
耸云山左侧半坡，有石室一所，俗称“讲教洞”，右边石壁上刻“王庠王序读书处”。再上半里有土井一口，井口壁上刻有“蒙泉”二字，传为王庠所书，有饮水思源，不忘向夫人养育之意。
