虹飲山房位於嚴家花園東200米處，是清代乾隆年間蘇州近郊著名園林，因為門對香溪，背靠靈巖，“溪山風月之美，池亭花木之勝”遠過於其它園林，所以乾隆皇帝每次下江南游木渎的時候，必到虹飲山房，在這裡游園、看戲、品茗、吟詩，直到夜色降臨，才依依不捨，順著門前的山塘御道，返回靈巖山行宮。因此，虹飲山房在當地又被稱為乾隆皇帝的“民間行宮”。

虹飲山房現存許多與乾隆相關的遺跡遺物。山房門前是御碼頭和御碑亭。乾隆十六年（公元1751年）春天，乾隆首次南巡，御舟經過運河，轉胥江，折入香溪，在此捨舟登岸。乾隆喜好游山玩水，舞文弄墨，所到之處，必賦詩題字。當他見到這條山塘古道幽奇古絕，不由詩興大發，當即口占七律一首。後來，這首七律被當地官員镌刻於碑，置於亭內，與對面的明代怡泉亭兩相映照，成為古鎮一大景觀。

當年，乾隆皇帝住在靈巖山行宮，而那些詞臣隨扈則住在虹飲山房。據信史記載：劉墉曾二度下榻虹飲山房，與主人徐士元相交默契，虹飲山房的匾額及花廳內“程子四箴”的橫批，就是劉墉贈給徐士元的。

虹飲山房花廳之內有一把龍椅，是當年康熙南巡駐跸靈巖山行宮時的聖駕專座。它用千年紫檀精制而成，九條金龍纏繞騰飛，顯示出至高無上的帝王之尊。乾隆游木渎時對此龍椅非常鐘愛，特地將龍椅從靈巖山行宮移駕至此。此舉令徐士元誠惶誠恐，既謝天子恩寵，又恐因保管不妥而遭累，後來索性將花廳鎖了，派家人專門守護，從不輕易示人。

徐士元是個落第秀才，一生不慕功名，惟喜居家讀書。他還有個嗜酒的癖好，常和朋友在園中詩酒為樂，而且酒量極大，號稱“虹飲”；又因宅園毗鄰虹橋，“虹所飲者，橋下之香溪也”，虹飲山房之名即由此而來。徐士元嗜飲卻從不放浪形骸，一生循規蹈矩，尤其對父母孝順，是遠近聞名的大孝子。為討二老歡心，他專門在園中建造了一座古戲台，每逢春秋佳日，請來戲班子為二老表演，以怡其心，安享天年。乾隆到木渎，必游虹飲山房，而且一定要在這裡看戲。有一次，乾隆看戲看得高興，還親自登台，舞劍助興，這倒真有點與民同樂了。

虹飲山房雖因乾隆六次幸臨而顯尊榮，但其本身卻是一座江南著名園林，它由秀野園和小隱園二座明代園林聯袂而成，中路為門廳、花廳和古戲台，建築體量宏大寬敞，既有江南文人園林的秀氣，又兼北方皇家園林之大氣，於大開大合之間，盡顯宦家之氣度，幽人之韻致，別出於蘇州園林一貫之精致傳統，為南北園林不同文化風格巧妙融合於一體之典范。

園原是明代李氏的小隱園，以老樹奇石和竹林茂盛著稱。乾隆初年，此園被徐士元購得，增築廳堂四進，主要用於生活起居，又在後園中疏池開徑，疊石栽花，成為一處精巧雅致的宅第園林。既可與古戲台娛樂區相連，又自成一統，十分的清靜閒適。到了清末，徐家日漸衰落，東園為木渎陳家購得。陳家的外孫女沈壽從小在這裡長大，隨外祖母和姐姐沈立學習女紅，用功不辍，終成一代“刺繡皇後”。

西園原是明代東林黨人王心一的別墅，建成於崇祯四年（公元1631年）。當時，王心一因彈劾宦官魏忠賢，被削籍遣歸。先在蘇州建造歸田園居，也就是現在拙政園的東園部分，仍嫌城中煩囂，便在木渎香溪之濱建秀野園，時常邀上三五同志，在園中游觀酬唱，排遣情懷。不久，王心一重被朝廷起用，先後做過太僕卿、應天府尹、少司寇。後裡人韓璟改為“樂饑園”，有秀野草堂、桐桂山房、樂饑齋諸勝。現為木渎聖旨珍藏館和科舉制度館，其中珍藏了二十道清代皇帝聖旨以及科舉試題、答卷等，充分展示了清代皇牍文化。

從琳琅滿目、富麗堂皇的清代皇牍文化藏品中走出，再以一種平和的心態，欣賞這座園林的美景。當年東林黨人王心一構築的這座秀野園以水景取勝，池亭花木環池而構，參差錯落。在這裡，既可近攬水影鳥語，遠矚靈巖山色，還可聆聽西牆外千年古剎明月寺的隱隱梵鈴，令人心曠神怡，仿佛置身於塵外仙境一般。