每逢初七，徽宗还要请林灵素搞学术讲座，上自公卿，下至黎庶，“观者如堵”，“始化奉道”，徽宗亲笔给林灵素题字“玉真教主神霄凝神殿侍宸”，还给他发了一块特殊通行证，让他可以随时出入自己的皇宫。
1118年，徽宗赐林灵素“金门羽客”，加封“通真达灵元妙先生”，一通官职封下来，首都人都把他和宰相并列，称为“道家两府”，期间道教兴盛可以说是达到了巅峰，这也是林灵素对中国道教发展的一大贡献。
《历世真仙体道通鉴》中记载了这样一件事，说宣和元年三月发大水，眼看都城被大水围着大家都发慌，徽宗就请林灵素施法把水退了。结果林灵素在城上又祭天，双祭地，水里龙王祭了，就是不见水退去，于是就回来找徽宗说：“陛下，这个水不退，不是说我法术不灵，而是天道不许我退。”
徽宗大惊：“那是因为什么？”
“这水是因为太子才来的，所以只有太子才能退。”林灵素显然是拿这事来暗指太子惹了上天，才发大水来以示惩戒。
于是徽宗命令太子去退水，果然太子四方上香，再一通拜，大水立刻后退了四丈，当天晚上完全退了，首都的全体百姓反倒是感谢太子的圣德。林灵素眼看没害成太子，于是借机上表乞骸骨，当然徽宗是不答应了。
但是对于这件事，多数史书上则是有另一种说法，说林灵素上城作法退水的时候，征调来的民夫们突然对他发动袭击，“役夫数千争举梃欲击杀之”，这样就让徽宗才发现了自己一直尊敬有加的林道长的真实面目，竟然遭人恨到了如此地步。
后来，林灵素又和太子争道，史书称他“恣横愈不悛，道遇皇太子弗敛避”，太子可以说是一人之下万人之上的，哪能受得了这样的委屈，于是就跑来找老爹告状，徽宗是真有点火了。
实际上，目空一切的林灵素早就不拿徽宗的儿子们当一回事了。《宋史》记载他“出入呵引，至与诸王争道”，特别是对太子，就更有意见了，起因还得从林灵素鼓动徽宗限佛说起。由于一系列的限佛政策的推行，和尚们不敢把徽宗怎么样，于是就把林灵素恨上了。有一次，在太子赵桓的支持下，十几个胡僧和五台山的和尚道坚等人组团来挑战林灵素，结果林灵素大发神威，力败一干和尚，和尚们甘愿戴冠执简。就算是自己大获全胜，对于太子如此和他过不去，林灵素自然是很不满意了，借和太子争道找回点场子，也落了太子的面子，殊不知，人家是一家人，欺负自己的儿子，徽宗再糊涂也知道远近亲疏。
说到排佛，这里插一句，耶律楚材在《西游录》中也提到过林灵素排摈佛教的事，不过由于他是站在了道教的对立面上，所以说元恶林灵素“尚未敢革寺名为观名，改佛像为道像”，而有的学者称他是对这段历史的不了解，在后面讲全真教的时候再专门探讨一下这个问题。
与太子闹矛盾，加上退水被围攻等事件综合起来，凸显了林灵素的骄狂，徽宗也不喜欢这样的人。有些学者认为还有一个原因，就是在曾敏行的《独醒杂志》等史料中记载的一个假道人冒吕洞宾之名来访林灵素，并在观内墙上提诗，被有心人拿来宣扬取笑徽宗和林灵素也让徽宗很不爽，细节不多讲了。
总之，最后徽宗于1119年十一月（宣和元年）把林灵素训斥了一通后贬为太虚大夫，把他赶回了温州老家。
喜欢中国道教也有趣请大家收藏：(m.38xs.com)中国道教也有趣三八小说更新速度全网最快。