據《廈門志》記載：明萬歷年間，有一名士池顯方在玉屏山建“玉屏寺”，他在自撰的《虎溪巖記》文中謂：“乙卯冬，余尋幽至此，欣賞奇觀，因建剎，名玉屏，左為大雄閣，稜層洞，夾天徑，後為石寺，上為飛鯨石，右為六通洞，宛在洞。”建成後，池顯方即迎請僧人主持，並整日與僧人學禅論道。或於三五夜月，邀請文人雅士對月吟唱為樂，乃有“虎溪夜月”勝景之雅稱。又仿廬山虎溪三笑故事以自比，別稱虎溪巖為“東林禅寺”。後於明末清初之際，玉屏山毀於廈門戰亂，至清代康熙年，元飛和尚應福建水師提督吳英之請來廈門主持該寺，並大興土木，重建大雄寶殿，增建垂雲樓、大悲殿、一嘯亭、伏虎洞。經三十多年苦心經營，才頗具規模。

    虎溪巖滿山皆巨石，盡皆奇險天成。山門旁有一巨石如芽，其上镌刻"先露一芽"。入得山門，順著蹬道，有"漸入佳境"、"三笑"等題刻，使人游興倍增。蹬道盡處就是"虎溪"，虎溪上架著弓形石橋，俗稱"仙人橋"，亦稱"渡虎橋"。過了弓形橋，來到"靈則名"洞，洞名取意唐劉禹錫《陋室銘》中的"山不在高，有仙則名，水不在深，有龍則靈"之句。洞裡甚涼，使人有"入洞方知六月寒"之感。