位於靈山麓的靈山寺始建於唐朝，由唐明皇之女受命在此營建，建成後在此修行。皇姑故後，被封為國廟。明朝開國皇帝朱元璋，貧困時在此受到寺僧的施捨，登上皇帝寶座後，朱元璋親往降香，敕封金碧峰禅師為主持僧，並親筆題定了“聖壽禅寺”4個大字。靈山寺與東南亞佛教往來甚密，在東南亞，尤其是在印度享有盛譽，印度總理赫魯訪華時提出拜谒靈山寺，因交通不便而未能成行。寺院分為三進，中院有一水井，其味甘美無比，為靈山泉之一竅，名為“聖井”。傳說這股山泉是從後殿佛祖座下噴出，經中殿流入院內而得名，列靈山入景之冠，名為“聖寺聖景”。寺內西廂院有一株上粗下細的“倒栽柏”傳說為宋時寺內主持和尚昊英所栽。昊英和尚是否得道無人知曉，但倒栽柏至今枝茂葉碧，無限生機。靈山寺僧源於北京西山，主持“鵝頭禅師”終日靜坐修行，頭發長久不剃，以後代代相傳，都不剃頭，許多佛門人稱他們為“恨頭僧”，靈山寺還是全國屈指可數的僧尼合一寺廟。農歷三月一日是靈山寺的傳統廟會，逢會的數天之中，彎彎的山道上車水馬龍，游客絡繹不絕，高峰時期日逾數萬人。

    靈山寺還是革命戰爭年代的歷史見證。1939年，李先念同志在此住，並在此主持了鄂豫皖邊界重要軍政會議，我軍不少高級將領都在這裡留下了戰斗的足跡。