惠山寺，位於惠山秀嶂街（今惠山直街和橫街交接處），始建於南北朝，距今已有一千五百余年。它的前身是南朝劉宋司徒右長史湛挺創立的“歷山草堂”。當時他歸隱在歷山（惠山），與南朝的南平王劉爍以詩章酬和，齊江淹亦有繼作，後人把他們的詩作列於壁間。劉宋景平元年（423年），把歷山草堂改作僧捨，稱“華山精捨”。元徽（474年——476年）間，沙門僧顯，從京師（今南京）入吳地，在“華山精捨”休息過，這是最早而有名望的高僧。梁朝大同三年（537年），把華山精捨改為“慧山寺”。寺僧陳大德建大同殿，又名“法雲禅院”。唐朝會昌（841年——846年）間，寺毀，唐朝大中（847年——859年）期間重建。北宋至道（995年——997年）間，賜額“普利院”。北宋靖康元年（1126年），賜給名相李綱作“功德院”。宋紹興元年（1131年），把該院賜給信安郡王孟忠厚，祀昭慈聖憲孟太後，改額“旌忠薦福寺”，賜銅印一顆，上镌“旌忠薦福功德禅院之印”，元朝末年被毀，明朝洪武元年（1368年）僧普真重修。永樂五年（1407年）僧懷祖又修建。正統十年（1445年）被火燒毀。明朝洪武元年（1368年）僧普真重修。永樂五年（1407年）僧懷祖又修建。正統十年（1445年）被火燒毀。巡撫周忱，知縣項伾重建。萬歷二十三年（1959年），有個唐裕的，挾妓游春，競放火炮，炮火飛上殿脊，殿被焚毀，次年吳申錫捐千金重建，他的兒子澄時又造了禅堂和不二法門。康熙於二十三年（1684年）南巡時，至惠山寺，在漪瀾堂品泉。第二年，無錫人周宏詞力加修治，題額為“聖敬式臨”。後來，乾隆六次到惠山，在秦園和竹爐山房休息，寫了不少詩詞，題了不少匾聯，還特地為“惠山寺”題額。清朝感豐至同治年間，李鴻章的淮湘軍曾與太平軍在江南一帶激戰，惠山的寺院毀於戰火，僅存寺門匾額。後來，李鴻章在惠山寺的廢墟上建立了“昭忠祠”，辛亥革命後改為“忠烈祠”。
由於惠山寺座落在名勝之地，聲譽早已隨著天下第二泉的美名而滿天下。它早在唐宋之時，就香火不絕，盛極一時。寺院范圍包括整個愚公谷和寄暢園，僧捨就有一千零四十八間之多。古往今來，多少騷人墨客，以至帝王將相，在經過京杭大運河時，都要在惠山寺逗留。
解放後，市人民政府對惠山寺進行了全面整修，1954年重新設計改建了“古華山門”和二山門，非常壯嚴古樸。
現在惠山寺還保留著古跡和建築物有古華山門、唐宋石經幢、金剛殿、香花橋和日月池、金蓮橋和金蓮池、御碑亭、聽松石床、古銀杏樹、大同殿、竹爐山房和雲起樓等。