千年古塔经历多次地震、暴雨、雷电和战火的破坏，仍然巍然屹立，但由于地壳运动，使得该塔倾斜值达1.1米，成为广东省最斜的塔，被各大媒体称为“东方斜塔”。
塔身向西倾斜1米多
“站在塔旁，明显感觉到这座塔的中轴线不是垂直的，而是向西倾斜1米多。”这是许多游客登上慧光塔后的神奇体验。除了塔身倾斜，引起人们好奇的是，其塔身与塔顶身首异处，原装塔顶却被摆放在塔基数米外的地面上，其表面光铮无比，毫无锈迹，且刀斧不入，坚韧异常，不知是何金属铸造。古塔巨大的金属塔顶虽然历经1500年的风吹雨打，光滑的表面不见一丝锈迹。当地老人回忆说，在大炼钢铁的年代，一些好事之徒打起了这块“圆铁疙瘩”的主意，他们用斧砍、钢锯，甚至架起煤炉柴火烈火焚烧，使出浑身解数却不能伤金属塔顶的半根毫毛，令人啧啧称奇。塔顶究竟是何种金属至今也无人能道出名堂。但是历经千年的风吹雨打，加上地质变化，慧光古塔不知从什么时候起慢慢有了点倾斜。最近的一次测量显示，塔顶部中心点距中心垂直线偏离已达1.07米。
中国早期建筑材料简单，多使用木材和砖材，用砖材最多能建造80多米高的塔。这种传统延续了几千年，始终用所谓“秦砖汉瓦”，也就是土、木、砖、石，极少用金属。就是用这些材料建成了各种式样的宏大建筑，这足以说明中国人民的勤劳与智慧。
相传，鲁班仙师与土地仙人打赌，比试法力高下，当时，正值连州要修造寿佛慧光塔，瑶王要造花街。他俩商定只用一夜时间，鲁班仙师建塔，土地仙人筑街。这天晚上，月黑天高。鲁班仙师墨线斗尺，架栋砌砖；土地仙人开路砌石，填土平沙。各施法力。时近五更之际，土地眼见仙师建塔近顶，而他修路工程差距甚远，便心生一计，学雄鸡啼叫，使得四处鸡鸣不已，鲁班仙师以为天即将亮，匆忙之中忘记将塔顶盖上，使得塔顶至今还留在塔边的地上。因此，有“惠州古塔无影，连州古塔无顶”之说。