陳宣帝太建七年(575年)，智者大師初來天台山，度石梁，夜宿定光禅師的草庵(石橋庵)。“石橋庵”，即東晉昙猷和尚隱居的地方，是方廣寺的前身。“石橋庵”的存毀年代已無從考證。據《天台山全志》記載：下方廣寺正式建寺始於宋徽宗建中靖國元年(1101年)，後毀於火。南宋光宗紹熙四年(1193年)復建。分上方廣寺、中方廣寺和下方廣寺三寺，是天台宗著名寺院。寺院因年久失修，廟宇房屋毀壞殆盡。黨的十一屆三中全會以來，在國清寺方丈唯覺法師主持下，得到海內外佛教徒的資助，進行全面整修，使古剎重放光彩。1989年10月14日，下方廣寺舉行了隆重的佛像開光儀式。
　　下方廣寺在天台縣城北，距城約20余公裡，座落在天台山石梁飛瀑區內。據傳是五百羅漢應真顯化的地方，故下方廣寺以五百羅漢道場而著稱。1983年被國務院確定為漢族地區佛教全國重點寺院。