白鹿寺，建在資江南岸的白鹿山上，距離資江一橋僅200余米。它始建於唐代憲宗元和年間，古寺鼎盛時期有四進，第一進為彌勒佛殿，左右為四大天王；第二進為觀音殿，左右為佛學堂；第三進為大雄寶殿，左右為十八羅漢，左廂房為禅堂，右廂房為齋房，第四進為藥師殿、藏經樓。住寺和尚有300多人，是益陽最大的一座寺廟。

    白鹿寺的名字，緣於一個神話故事。唐代名相裴林，貶任荊南節度使時，曾幾度來益陽，小住在古木蔥郁的江邊山上。裴林博學多能，喜歡佛學，夜深人靜，他便在山上秉燭夜讀，朗朗的誦經聲，引得一只仙白鹿駐足聆聽，每晚只要經聲響起，仙白鹿就飛來聽經。一天晚上，白鹿聽經的秘密被人發現，仙機洩露，再也不見有白鹿復來。為紀念仙白鹿聽經，山民便把白鹿駐足聽經的風水寶地，命名為白鹿山，在山下建了一座廟，取名為白鹿寺。白鹿寺在清代，和尚多，香火盛，名氣大，尤其叫人稱奇叫絕的是寺內的那一口一千公斤重的古銅鐘，聲極洪遠，堪稱古城鐘王。夜晚，和尚上香的鐘聲，響徹古城十裡麻石街，悠揚的鐘聲，飄逸清盈，震撼心靈，淨化靈魂。因此，人們把“白鹿晚鐘”，列為了益陽的十景之一。古白鹿寺，幾經蒼桑，蕩然無存。如今的白鹿寺，是1987年以來，落實宗教政策，經政府批准同意，群眾集資，白鹿寺老和尚佛源法師大力捐資，重新在白鹿後山修建而成。寺廟傍山而建，已建好兩進。臨街山門，雄偉壯觀，紅牆拱門，氣派恢宏，大大超過了古寺山門。