太山在今天晋源区阎家坟(今属罗城街办)村西，龙山和蒙山之间，属于西山山脉。
在千年石函挖掘新闻之前，太原人鲜有人知道有这么一座山，更不知道有龙泉庙。直至石函的出现，人们才开始了对这座看上去普普通通山庙的关注。
关于太山的得名，沈约撰写的《宋书》中曾有详细的记载：相传北汉时有山民石敢当，以勇敢闻名，他居住的山也跟着有了名，太山取太(泰)山石敢当的谐音。而民间还有一种说法，称太山的山脉形似一个大大的太字，因此有太山之名。
太山山势磅礴、密林森森，山中盛长虬柏和枫树，绝美的景色吸引了宗教人士来此修行参禅。最初太山是道家方士修炼之地，据太原旧方志记载，太山寺始建于唐代景云元年(公元710年)，初为道教昊天祠。五百多年后毁于金元战火时期。直到百年后的明代洪武二十四年(公元1391年)才重建，但将观音等五寺并为一起，改成了佛教寺院，名字也改成了太山寺。
又传说当时天旱无雨，地方官员和百姓们到此处求雨，发现汩汩而流的泉水，认为是求雨有应，龙王赐泉，于是给太山寺冠以龙泉雅号，并在泉水上修建龙王庙，雕石龙，泉水从石龙嘴中而出。
据清道光年间《太原县志》记载，称原来道教的昊天祠在金、元两朝毁于火灾。而院内的东北角现存有石碑一幢，为唐景云二年(711年)所立，也是那段历史最好的实物见证。另明嘉靖《太原县志》中有太山有龙池的记载，成为太山寺别名由来的史证。