文游台始建于北宋太平兴国年间(公元976年),是筑在东山顶上的高台建筑,原为东岳行宫(俗称泰山庙)的一部分。是古秦邮八景之一。元丰七年(公元1084年)北宋大文学家苏东坡路过高邮,与本地先哲孙觉、秦观、寓贤王巩聚会于东山庙台载酒论文,从此“四贤聚会”成为佳话。“文游台”于此而得名。