雷祖祠位於雷州城西南五裡之英榜山，依山傍水，風景秀麗，稱“雷崗聳異”，為雷陽八景之一。始建於唐貞觀十六年（公元642年），是紀念唐代雷州首任刺史陳文玉（雷祖）的相堂。為國家重點文物的保護單位。
　　民間傳說陳文玉是一位半神半人式的充滿神奇色彩的英雄人物——陳太建年間，古台州城西南五裡白院村有一村民，名日陳鉷，以捕獵為生，家中養有一只九耳異犬，每次出獵皆卜犬耳，所捕獵物與犬耳所動相應。一日九耳齊動，陳氏日：“今必大獲矣！”便邀其鄰居十余人，同往州北之烏侖山。山中荊叢密繞，犬自早晨吠至太陽落山，無一獸出。獵人奇之，伐木而視，見獵犬從地裡挖出一大卵，陳氏不知為何物，便抱回家中。次早，烏雲密布，雷電交加。陳氏大恐，便置卵於庭中，忽然卵為霹雳所開，跳出一男孩，兩掌有文，左日“雷”，右日“州”。陳氏將男孩禀明州官，官收卵殼寄庫，男孩交陳氏養育，取名陳文玉。文玉聰穎過人，勤學不辍。長大後，功力絕倫，武藝蓋世，文武兼備，屢受薦舉，文玉卻以雙親年老為辭，拒不當官，曾自謂日：“‘侍君不能侍親’，願問寢視善，以樂父母余年。”陳氏夫婦享年百十有三，相繼殁於唐貞觀二年。文玉為之守墓三載。
　　唐貞觀年間，南合州境內居有黎、瑤、壯、察、侗、苗等少數民族。唐王朝為了穩定邊疆，便啟用土著陳文玉出任本州刺史。
　　陳文玉任職期間，精察吏治，巡訪境內，消民疾苦，政教並行，使人民安居樂業，民皆富庶，風俗大變。在施行德政之余，文玉深感本州乃天南重地，四海有事，兵家必爭，為使黎庶安寧，便大修城池，公款不足則自捐薪俸，不費民財，並具疏把古合州改名雷州。雷州之名乃始於唐貞觀八年（公元634年）而沿用至今。
　　唐貞觀十二年正月十五日，正當城工告竣，文武僚屬歡欣巡城之際，文玉卻生兩翅，白日升天。百官見狀，伏地而拜，文玉終年68歲。為了紀念這一個德政昭彰的地方官，郡民於州城西南五裡英榜山立祠以祀，即今之“雷祖祠”。
　　祠依山而築 ，北構南趨，山下是一望無垠的萬頃洋田，其勢極其雄偉壯觀。祠分三進，由山門、正殿、側殿、後殿、東西庑、鐘鼓樓、碑廊等建築組成，全部建築沿中軸線布局。順山門青石板台階拾級而上可直通後殿，占地面積一萬多平方米，是嶺南地區最大的祠堂之一。山門依屋宇三間面寬洞開而三，為硬山頂，硬山檩式結構。山門門聯：“霹雳開天南一祖，聲名為海北同尊”，是對雷祖降世的美麗傳說及“受職父母邦，德政彰明”的贊譽。二進為祠的建築主體，分正殿及東、西側殿。正殿前設有拜亭，整個建築形制呈“凸”字形排列，依次供奉陳文玉（中）、李太尉（漢朝的李廣，居左）及英山石神（右），俗稱“雷詞三殿”。正殿面寬進深各三間，硬山頂，四柱抬梁式梁架結構，舉梁平緩，前檐廊出檐極寬，建築風格獨特，富有地方特色。沿著前檐廊可從東側殿直通西側殿，殿前屏風精雕細刻，玲珑剔透，巧奪天工。
　　雷祖祠歷史悠久，詞內文物十分豐富，有千年石人、乾隆御踢匾額及歷代碑刻30余通。歷代顯宦名流，騷人墨客，游覽之余無不留下感人的詩篇。寇准有詩，東坡有賦，丁謂作記，李綱題碑，這些詩賦碑刻歷盡人世滄桑至今尚珍藏於祠內，堪稱祖國文物之瑰寶。
　　雷祖祠神話傳說紛經，其中千年石人就有一段美麗的傳說：五代後梁開平四年，寇賊符益喜等不輸稅糧，倡亂騷擾，還煽動民族糾紛，鬧得雷州無寧日。欽差都知司馬陳襄，帶領12只船的兵力，圍剿征討。當時，符益喜等駐師廟中，因朝廷官兵不熟悉情況，屢戰不勝。後來，陳真虔禱雷祖，並於廟前張榜招兵。次日復戰，陳襄遠遠望見雷祖陳文玉與漢太尉李廣協同陰兵助戰，這場戰斗果獲大勝，但賊首末擒。至夜，陳襄夢見雷祖對其目：“賊來降我，我收在廟前，化為石人。”黎明起視，果見四石人跪子廟庭，其中一個被殺了頭。雷州從此得以太平，陳襄等拜謝雷祖，並具疏奏聞朝廷，於開平改元乾化二年，朝廷命郡它重建雷祖廟宇，並於雷祖廟西建李太尉廟，塑太尉像，與英山石神列而為三，稱“雷詞三殿”。
　　雷祖祠自唐貞觀十六年始建，迄今已1350多年了。方志典籍多有記載，唐代劉恂的《嶺表錄異》、宋代《太平寰宇記》、《宋本方輿覽勝》、明末清初的《廣東新語》，《子不語｝｝以及當代出版的《華夏諸神》、《超凡世界》、《中國崇拜物》等書都均有記述。
　　古代聞名於世的“天下四絕”（雷州換鼓、錢塘江潮、廣德埋藏、登州海市）中的“雷州換鼓”就是發生在雷祖祠的民俗事象。“雷州換鼓”是古代雷州人在雷祖祠內舉行的一種隆重的“祭雷”儀式。《雷祖志》載：“至於-…。雷車雷鼓等物，各以板圖藏於廟內，令郡民當裡役者依樣修造，逢上元日，齊候文武各官送太廟致祭，名日‘開雷’。又辦酒席-…。官民同樂，始得風調雨順，不然則歲悍年凶，自是有禱則應，雷郡獲享國泰民安之福”。《廣東新語》雲：“六月二十四日，雷州人必供雷較以酬雷，禱而得雷公之墨，光瑩如漆，則以治邪扭驚痌.”“雷公墨”即隕石，古代雷州人稱為“雷公石”或‘“霹雳碪”、並當作一種驅邪避災之物，可見古代雷州人把雷公作為一種能造福或降禍於人的強大力量象征而銘刻於心，所以’“祭雷”儀式的隆重也不言而喻了。現在，“雷州換鼓‘”早已失傳，當代雷州人只能從典籍中窺見一二。