祖越寺是千山最早的廟宇建築之一。相傳昔日建寺時，有一位祖師從此路過，曾仔細察看該寺的建築，故的寺名祖越寺。據考證，它最初建於唐朝，當時此寺建築極為寬闊宏偉，大於現在的數倍。金、元時期山洪暴發，寺廟被毀。現在的祖越寺為明朝時所建，香火曾盛極一時，後逐漸衰微，後經清乾隆、道光、光緒幾代相繼重修，解放後多次修繕。現有建築七幢：正殿（釋迦殿），韋馱殿，階下為東西配殿，配殿南有鐘、鼓樓，呈東西對稱。正殿東側是胡仙堂和客室，殿堂內供奉有泥塑，木雕佛像等30余尊。寺門正對正殿釋迦殿，門外是長達50米的一堵石牆。現存殿宇，經1978年重修，由比丘尼住持。
祖越寺的建築布局嚴謹、規整，殿宇壯觀，坐落在東西兩面山峰的抱合眾，寺周圍峰翠欲滴，松濤波湧，山色秀麗，流水潺潺，小亭玉立。秀美山色使人留戀忘返。前人曾用“祖越多奇境，天公亦幻哉”的詩句來贊歎祖越寺的景色。
祖越寺後山石壁上刻有“獨鎮群岳”四個大字，據傳這是明隆慶二年（1568年），一位巡侍御所題，旁邊還有“含譯宣氣”四字，由於年代久遠，只能看出字的輪廓。山門東側有一株古松，名曰“懼松”，“懼松”旁邊有石碑，上有清光緒元年刻寫的“天花亂墜地湧金蓮”八個大字。
祖越寺周圍有玉皇閣、羅漢洞、八步緊、七步松、夾扁石、一步登天等二十四景。玉皇閣在三十三天附近，築於峭壁之上；羅漢洞中塑有十八羅漢；八步緊在臥象峰東，在陡壁下有石階八蹬，循蹬而上，越過七步松、夾扁石，即可達一步登天。游人無不贊歎祖越寺奇俏秀麗的景色和精湛的建築。