夏至楊梅漫山紅之前，村民往往自覺出資修繕黃公潭。黃公潭，當地人們俗稱黃昏潭，如同河姆渡原叫黃墓渡，由諧音演繹而來，而黃昏潭的來由，有個傳說：很久很久以前的一個冬雪天，有位姑娘坐在潭邊，手捧潭水解渴充饑，又用水來取暖，以至凍僵了的雙手慢慢復蘇，全身也慢慢暖和起來，姑娘環視群山白雪皚皚，有些愁眉不展。這時，有一個白胡子白眉毛的老人，步履矯健，帶著一位侍從急奔而來，到潭邊來勸說姑娘。

而石步村年逾八旬的葉長根老人說，從地上湧出這一泓碧潭，它的正式名字叫黃公潭。

這潭名緣起，竟來自歷史上有名的商山四皓之一夏黃公。

據《史記》與《後漢書》記載：秦末避亂，夏黃公與高士東園公、甪裡先生、绮裡奇同隱於商山，四人年逾八十，鶴發童顏、須眉皓白，人稱“商山四皓”。漢初，劉邦想廢掉柔弱無能的太子劉盈，另立愛妃戚夫人之子趙王如意。劉盈之母呂後為鞏固太子地位，求教謀士張良，采用張良之計：讓劉盈卑辭厚禮，恭恭敬敬地迎來德高望重的商山四皓。一天宮中舉行宴會，四皓侍立在太子劉盈之後，劉邦問他們是誰，四人各言姓名，劉邦大為驚疑，宴畢，他便對戚夫人說，這四個老人連我都請不到，現在願意跟著太子輔佐他，說明太子羽翼已經豐滿，其地位已難以動搖了！

劉邦死後，太子劉盈繼位，皇權被呂後獨霸。商山四皓得知中了張良呂後之計，只得各奔他鄉。夏黃公隨即逃匿到東南，隱居於今日河姆渡一帶。夏媛隨父來到浙東，她對四皓協助劉盈早有所聞，認為老父是為虎作伥，理該早走，等到呂後掌權，戚夫人和趙王如意蒙難為時已晚，她也因此常常責怪父親夏黃公。夏媛性格剛烈，那天下午，她負氣向北出走，到了黃公潭，天將黑下來，田野白茫茫，舉目無親，轉而回憶起父親的愛女之情。雪夜臨近，幸有夏黃公親自帶人到潭邊把女兒接回家中。

當地稱黃昏潭也有理三分，叫黃公潭則名正言順。夏黃公隱居於大隱車廄一帶，死後葬於河姆渡旁的覆船山。河姆渡口在清乾隆五十年立有《黃墓渡茶亭碑》說明同一地方古今地名各異，又相互聯系，詩稱“此乃四明真福地，當年曾隱夏黃公。”

黃公潭中湧出的清泉，屬微鹼性的優質泉水，冬暖夏涼，大旱不涸。當地人士自行籌款，修復黃公潭，實為美事一樁。