自古而今，无数喜林泉者、爱奇石者、乐山水者、修心性者、求神佛者，皆慕名而至，他们之中有唐朝的吕岩、怀素，宋朝的周敦颐、杨万里、韩世忠、张叔夜、朱熹、周端礼，明朝的周尚德、丁玑、周鹊建、周卜涧、周邦俊，清朝的沈葆桢、毛羽仪等等，这些人的来到加重了西岩的份量，加深了西岩的的文化底蕴，使西岩呈放出道教、佛教、儒家三种文化交相辉映的文化异彩。
在广丰，关于吕洞宾的传说不少，西山观（今广丰中学里）有吕仙亭，白鹤畈的来由也与吕洞宾有关，天桂岩更是吕洞宾修炼的地方，天桂岩岩壁上有一断腿石鹿据说还是吕洞宾的坐骑呢，只因它偷吃庄稼被吕仙斩断一腿化成岩石永守洞口。这些只是传说，不信也罢，但真正的吕岩（号洞宾，唐咸通年间进士），在任九江县令时，的确到过广丰，并在天桂岩里隐居（或曰修炼）了九年，有其诗《题天桂岩》为证：
春暖群花半开，逍遥石上徘徊。独携玉律丹诀，闲踏青沙碧苔。古洞眠来九载，流霞饮几千杯。逢人莫说他事，笑指白云去来。此诗被民国年间任德安县长的排山人周映天题刻于洞口岩壁上，周映天同时还题刻了“顶天立地”四个大字于洞口。据说唐代大书法家怀素也到过天桂岩并留有墨宝，怀素到天桂岩时曾题匾“兜率宫”（狂草）三个大字，此匾曾存于西岩寺，文革后失落。
宋以后，天桂岩名气渐大。北宋初，有僧人到西岩开山建寺，于岩前建一寺名西岩上寺，后更名为西岩寺，于山麓建一寺与上寺相望，名西岩下寺。这西岩二寺与两个历史人物有关，一个是周敦颐，一个是韩世忠。我无法考证《爱莲说》的作者周敦颐是否真的到过天桂岩，但西岩上寺正厅石柱上周敦颐所作的一幅对联所描景物又似乎就是指天桂岩，此联是：岩畔木樨香，个中人来自领悟；峰前梅子熟，门外汉何处探寻。此联不但有景有物，还极富佛法、禅机和哲理，深得后人喜欢。韩世忠跟西岩下寺有关，南宋建炎三年（ 1129）年，左右都督苗傅和刘正彦造反败落，经江山和广丰逃往福建， 1130年，抗金名将韩世忠携夫人巾帼英雄梁红玉奉宋高宗之命入闽征讨，抵排山时，他们登上了天桂岩，面对大好风光，将军诗兴大发，当场得一对子：院号广福，据称洞宾于此度世；洞称仙宫，传闻铁拐在者升天。是夜宿西岩下寺，将军祈佛：奉命而讨叛臣，提兵而出，振旅而归，惟神其点助之，何敢忘？（明《永丰县志》有载）平叛之后，将军还朝，奏请高宗说平叛成功因有西岩寺神佛相助，当还愿。高宗即赐“广福罗汉院”匾额（此额至今仍嵌于寺门之上），并赐主持僧义通“紫衣法师”称号。宋朝还有两个历史名人到过天桂岩，一个是杨万里，另一个就是朱熹。从杨万里在广丰的游踪看，他呆在广丰的时间应该较长，他曾夜宿灵鹫寺、在玉田观过白鹭、到石磨岭看过梯田并留有诗章。他不但进了天桂岩岩洞，还留下了这么一幅对子：游福地，入洞天，任许飞琼邀月；访仙踪，换俗骨，当思涤虑洗心。朱熹到广丰来，我估计跟辛弃疾、施师点或者周端礼有关，此三人与朱熹基本上生活在同一时代，当时稼轩退居上饶并在广丰博山寺建有书院，与朱熹来往甚密，施师点虽官至当朝宰相，可也是文人出身，清正廉洁，曾与稼轩同朝为臣，想必跟大学问家朱熹也熟悉交好，师点是广丰吴村人，吴村就在排山边上，周端礼稍小于朱公，当时也供职于枢密院，曾奉命出使金国，不辱使命，后得重用，这个周端礼是广丰排山人，估计他也与朱熹交好。也就是说，朱熹极有可能是因此三人而到广丰并游天桂岩的。当然，这些都是我个人据史推测，天知道历史的真相如何，但不管怎样，朱熹到过天桂岩定然没错，这不，还留下了证据——一是他为排山“奎阁楼”题写的楼联：桂树高悬天上月，梅花独占岭头春。二是在登天桂时在半山腰路亭上歇脚时的感叹：到此须求进步，从此莫误前程。后来有好事者把它作为柱联刻于半山亭的亭柱上以警示后人。而抗金名将张叔夜和周端礼是广丰人，到过天桂岩就不足为奇了，张叔夜还为天桂岩题刻了八个大字——江山不老，仙境长春。西岩寺的管事说宋代大书法家米芾也到过天桂岩，对此无从考证，但西岩寺里确实存有一首米芾的诗——《古刹钟声》：古刹高耸接云楼，撞月钟声吼铁牛。一百八声惧听彻，夜行还向不知休。