捨利塔位於愛晚亭右後方不遠的樹林中，過了楓林橋，便能見到這座形似僧帽的古塔。

    宋沙門覺范撰《院感應佛捨利塔記》：隋文帝楊堅於梁武帝大周七年六月出生於同州（今陝西大荔縣）大興寺中，嬰兒時曾暴虐，有尼名“智仙”者，從外至，對楊堅之父楊忠說，此兒大有福分，為天佛所佑，不可令居家中，當代為養育，於是楊忠辟館延居，楊堅30歲時，才讓他回家，女尼以捨利子數百顆授之，曰：“以此福蒼生”。楊堅稱帝後於仁壽二年（公元602年）诏令全國五十二州，在名山福地繪塔，分藏捨利子，塔下繪尼之像以紀之。據說岳麓山這座塔就是其中之一。

    塔分三層，塔基正方形，花崗石砌成，高12米。相傳隋文帝楊堅為感謝尼姑智仙對自己的撫養之恩，诏令在全國各座名山修建佛塔供奉智仙的捨利子，塔下都繪有這位尼姑的像。

    這座塔在五代時被毀，民國初年時麓山寺的僧人找到遺址將塔重建。