雷祖祠位于雷州城西南五里之英榜山，依山傍水，风景秀丽，称“雷岗耸异”，为雷阳八景之一。雷祖祠始建于唐贞观十六年（公元642年），是纪念唐代雷州首任刺史陈文玉（雷祖）的相堂。雷祖祠为国家重点文物的保护单位。
民间传说陈文玉是一位半神半人式的充满神奇色彩的英雄人物。陈太建年间，古台州城西南五里白院村有一村民，名日陈鉷，以捕猎为生，家中养有一只九耳异犬，每次出猎皆卜犬耳，所捕猎物与犬耳所动相应。一日九耳齐动，陈氏日：“今必大获矣！”便邀其邻居十余人，同往州北之乌仑山。山中荆丛密绕，犬自早晨吠至太阳落山，无一兽出。猎人奇之，伐木而视，见猎犬从地里挖出一大卵，陈氏不知为何物，便抱回家中。次早，乌云密布，雷电交加。陈氏大恐，便置卵于庭中，忽然卵为霹雳所开，跳出一男孩，两掌有文，左日“雷”，右日“州”。陈氏将男孩禀明州官，官收卵壳寄库，男孩交陈氏养育，取名陈文玉。文玉聪颖过人，勤学不辍。长大后，功力绝伦，武艺盖世，文武兼备，屡受荐举，文玉却以双亲年老为辞，拒不当官，曾自谓日：“‘侍君不能侍亲’，愿问寝视善，以乐父母余年。”陈氏夫妇享年百十有三，相继殁于唐贞观二年。文玉为之守墓三载。
唐贞观年间，南合州境内居有黎、瑶、壮、察、侗、苗等少数民族。唐王朝为了稳定边疆，便启用土著陈文玉出任本州刺史。陈文玉任职期间，精察吏治，巡访境内，消民疾苦，政教并行，使人民安居乐业，民皆富庶，风俗大变。在施行德政之余，文玉深感本州乃天南重地，四海有事，兵家必争，为使黎庶安宁，便大修城池，公款不足则自捐薪俸，不费民财，并具疏把古合州改名雷州。雷州之名乃始于唐贞观八年（公元634年）而沿用至今。
唐贞观十二年正月十五日，正当城工告竣，文武僚属欢欣巡城之际，文玉却生两翅，白日升天。百官见状，伏地而拜，文玉终年68岁。为了纪念这一个德政昭彰的地方官，郡民于州城西南五里英榜山立祠以祀，即今之“雷祖祠”。
雷祖祠总体布局上是由山门、正殿、侧殿、后殿、花苑、钟鼓楼、碑廊等建筑组成。雷祖祠全部建筑沿中轴线布局，面积一万多平方米，是岭南地区最大的祠堂之一。山门依屋宇三间面宽洞开而三，为硬山顶，硬山檩式结构。山门门联：“霹雳开天南一祖，声名为海北同尊”，是对雷祖降世的美丽传说及“受职父母邦，德政彰明”的赞誉。二进为祠的建筑主体，分正殿及东、西侧殿。正殿前设有拜亭，整个建筑形制呈“凸”字形排列，依次供奉陈文玉（中）、李太尉（汉朝的李广，居左）及英山石神（右），俗称“雷词三殿”。正殿面宽进深各三间，硬山顶，四柱抬梁式梁架结构，举梁平缓，前檐廊出檐极宽，建筑风格独特，富有地方特色。沿着前檐廊可从东侧殿直通西侧殿，殿前屏风精雕细刻，玲珑剔透，巧夺天工。
雷祖祠历史悠久，词内文物十分丰富，有千年石人、乾隆御踢匾额及历代碑刻30余通。历代显宦名流，骚人墨客，游览之余无不留下感人的诗篇。寇准有诗，东坡有赋，丁谓作记，李纲题碑，这些诗赋碑刻历尽人世沧桑至今尚珍藏于雷祖祠内，堪称祖国文物之瑰宝。
雷祖祠神话传说纷经，其中千年石人就有一段美丽的传说：五代后梁开平四年，寇贼符益喜等不输税粮，倡乱骚扰，还煽动民族纠纷，闹得雷州无宁日。钦差都知司马陈襄，带领12只船的兵力，围剿征讨。当时，符益喜等驻师庙中，因朝廷官兵不熟悉情况，屡战不胜。后来，陈真虔祷雷祖，并于庙前张榜招兵。次日复战，陈襄远远望见雷祖陈文玉与汉太尉李广协同阴兵助战，这场战斗果获大胜，但贼首末擒。至夜，陈襄梦见雷祖对其目：“贼来降我，我收在庙前，化为石人。”黎明起视，果见四石人跪子庙庭，其中一个被杀了头。雷州从此得以太平，陈襄等拜谢雷祖，并具疏奏闻朝廷，于开平改元乾化二年，朝廷命郡它重建雷祖庙宇，并于雷祖庙西建李太尉庙，塑太尉像，与英山石神列而为三，称“雷词三殿”。
雷祖祠自唐贞观十六年始建，迄今已1350多年了。方志典籍多有记载，唐代刘恂的《岭表录异》、宋代《太平寰宇记》、《宋本方舆览胜》、明末清初的《广东新语》，《子不语》以及当代出版的《华夏诸神》、《超凡世界》、《中国崇拜物》等书都均有记述。
