西遞始建於宋朝的元祐(宋哲宗)年間，由於河水向西流經這個村莊，原來稱為“西川”。因古有遞送郵件的驿站，故而得名“西遞”，素有“桃花源裡人家”之稱。

    西遞村中一條主道貫穿東西，與其兩側各一條與之平行的街道一起穿過很多窄巷。在敬愛堂、履福堂、刺史牌樓等公共建築之前有小廣場。今天，主要旅游景點包括124幢保護完好的明清建築。大多數民居都對公眾開放。主要建築有明萬歷六年(1578年)建的青石牌坊，清康熙三十年(1691年)建的大夫第等。

    西遞村建房多用黑色大理石，兩條清泉穿村而過，99條高牆深巷，各具特色的古民居，使游客如置身迷宮。村頭有座明萬歷六年(公元1578)建的三間四柱五樓的青石牌坊，峥嵘巍峨，結構精巧，是胡氏家族地位顯赫的象征。村中有座康熙年間建造的“履福堂”，陳設典雅，充滿書香氣息，廳堂題為“書詩經世文章，孝悌傳為報本”、“讀書好營商好效好便好，創業難守成難知難不難”的對聯，顯示了儒學向建築的滲透。村中另一古宅為“大夫第”，建於清康熙三十年(公元1691年)。“大夫第”為臨街亭閣式建築，原用於觀景，樓額懸有“桃花源裡人家。”六個大字”有趣的是，近人多將此樓當作古裝戲中小姐擇婿“熱拋繡球”所在，現已成為西遞村舉辦此項民俗活動的場所。“大夫第”門額下還有“作退一步想”的題字，語意雙關，耐人尋味。此外，村中各家各戶的富麗宅院、精巧的花園、黑色大理石制作的門框、漏窗，石雕的奇花異卉、飛禽走獸，磚雕的樓台亭閣、人物戲文，及精美的木雕，絢麗的彩繪、壁畫，都體現了中國古代藝術之精華。