威遠樓位於隴西縣城中心，始建於北宋仁宗天聖元年（公元1023年），以渭州地修築占渭砦後，韓琦籌劃邊防時，於城東一裡處的北坊建一谯樓，名曰“威遠樓”，取威震遠方之意。

    元世祖中統二年（公元1261年）擴建城垣時，將威遠樓移建城中。元順帝正至元年（公元1341年），設置銅壺滴漏、更鼓於其上。明太祖洪武元年（1368年）重建，取名“雄鎮樓”。清道光十六年（1836年），移置北宋所鑄銅鐘於樓上，無事報時，有事報警，所以又名“鐘鼓樓”。