自南朝以来，历代达官显宦，文人雅士来此游览沐浴。
据传南北朝萧梁时期有位太后用泉水治好了皮肤病，被皇上封为圣泉。
据说，唐朝德宗时候，有一个叫韩滉的浙江观察使，他的女儿得了“恶疾”，四处求医，都不见好，后来听说汤山泉能治，专程送女儿到汤山沐浴，果然很快治好了她的病。
为此，他用为女儿陪嫁的费用，在这里修建了“圣汤延祥寺”（俗称汤王庙）。
民国初年，有大批达官贵人在此建造温泉别墅，其中以江宁名人陶保晋于1919年建的“陶庐”最为有名。1927年陶氏将“陶庐”作为贺礼送给了蒋氏夫妇。 1940年代的汤山温泉萧瑟冬日，树木凋零，几座青灰色的砖瓦房前，一池热腾腾的温泉散发着白蒙蒙的雾气。昌平区档案馆新征集到的一张老照片，生动再现了汤山温泉70多年前的历史风貌。据了解，这也是该档案馆迄今为止收集到的关于汤山温泉最早的照片。
这张老照片是从一名中日友好人士手中征集到的，大约拍摄于20世纪30年代。根据相片中的日语注解，该温泉为长八角形浴池，长一百六十尺（约53米）。相片注释中还有这样的描述：“浸泡在那升腾的热气中仿佛浮现出古时春寒洗凝脂的倾国幻影，而那残存的石阶，则使人回想到历代皇帝来浴时的豪华壮丽画卷。”
照片中的汤池就是当年老百姓俗称的“八角琉璃井”。“汤池里温度很高，把鸡蛋放到里面很快可以煮熟，被称为‘沸泉’，东侧大约3米处还有一处主泉，温度适中，被称为‘温泉’。”