流傳著一個美麗動人的故事。一巴人沿唐巖河進入龔灘，雖遭土人排擠，仍堅持與土人共同勞動。土人逐漸消除了敵意，視他為家人。一個17歲的惹巴涅姑娘暗中看上了他，有事無事找他搭讪，男青年也暗自歡喜。不料一日回鄉之後，從此杳無音訊。惹巴涅日盼夜盼，苦思積慮終於香消玉隕。那惹巴涅就居住此樓，所以人們稱起其為織女樓。據說那男青年為解決族人的缺糧問題去向臨界求助，不幸遇難於歸途。