方廣寺位於蓮花峰下，建於梁武帝天監二年（503年），歷經興廢，明代崇祯年間，堵允錫與王夫之兄弟等又進行了修繕。寺有正殿和祖師殿，寺側有“二賢祠”，專為紀念南宋朱熹、張式到此游覽和講學而建，寺周圍有黑沙潭、黃沙源、石漳潭、白沙潭等，黑沙潭有宋徽宗題寫的“海南龍湫”石刻。

    據《南岳志》載：寺始建於南朝梁天監二年（公元五零三年）。南岳高僧之一的惠海來到這八座青峰圍繞的狹長山谷中，見此地與世隔絕，巖壑幽邃，就在這裡結草為庵。據《一統志》載：一天，惠海正在庵中誦經，忽然有五位身材偉岸的壯士求見。來人面容各不相同，分青、黃、紫、白、黑五色，都身穿白袍。五人請求惠海和尚允許他們聽經學佛。惠海問他們是何方人氏，他們回答說是南岳山中的五位龍神，如果允許他們聽經，他們願意讓出一塊平地，獻給惠海建造寺院。惠海答應了他們的要求。當天晚上，山谷中烏去驟起，霎時雷聲隆隆，大雨滂沱，傳來陣陣“嘩啦啦”的響聲。第二天清早，惠海起來一看，只見山下出現一塊寬敞的平地。惠海到處化緣募捐，在這塊平地上建造了一座規模宏大的寺院，寺名方廣，寓佛法“十方廣布”之意。這就是《南岳志》上記述所謂“五龍聽經，平沙獻地”的故事。

    公元1167年，南宋著名理學家朱熹應湖南提刑張栻的邀請，到長沙岳麓書院講學。就在這年冬天，他們踏雪來到南岳，朱熹此時不禁詩興大發，七在之內，二人互相唱酬，作詩149首。其中三分之一的詩篇是在方廣寺寫的。後人為了紀念他們這次勝游，特意在方廣寺旁修建了二賢祠，並將朱、張的神主供在祠中的嘉會堂上，讓他們永享儒家的香火。