鎮淮樓的歷史可以追溯到宋代，據史書介紹，1161年金兵南侵陷廬州時築金斗門，樓居其上（1169年）。明崇祯十五年（1642年）被毀，康熙四年（1665年）重建。其規模“凡三層，高五丈三尺”，算不得太高，但金斗門高十余丈，這就厲害了，超過了30米。那個時候的民居多為平房，登此樓，絕對是視野開闊，一覽無余。說它是當時合肥城的標志性建築，應該是沒有問題的。這也就難怪每有文人墨客至此，都會留下詩章，發出感歎：“百尺高樓迥，煙雲面面開。蜀山還北向，淮水自南來。（清·介福）”“巢湖水漲連天白，金斗城高落日黃。（清·邵陵）”能看到大蜀山，是可能的，巢湖也能看到，有點懸，不過也難說。

    《八景說》的作者、清人朱弦在“鎮淮角韻”中寫道：“於樓四眺，東北一帶，小岘、浮槎在望，參差凹凸，每初霁雨余，如新藍出沐；南望城堞依依，孤嶼隱隱，正如蟠末見旅行之髻也；西則蜀峰陡起，若與此樓爭雄；北望古寺障之，不見天末，亦巨鎮也。”這就更為詳細了：東北望去，小岘山、浮槎山錯落參差，雨水之後，更是美不勝收；向南邊看，城牆之外，巢湖中的島嶼，隱約可見；西邊的蜀山，北面的明教寺，一個孤峰聳立，與鎮淮樓遙遙相望，一個直抵眼前，氣勢不凡。

    據清人記述：“傳聞往者兩傍有亭，翼如鐘鼓分之。‘樓中’置畫角銅壺等物，考之樂苑，角色調也。蕭蕭瑟瑟足以感人。大約借以警晨昏、司啟閉也。”查了一下辭書，畫角：古代樂器名，相傳創自黃帝，或曰傳自羌族。形如竹筒，以竹木或皮革制成，外加彩繪，故稱“畫角”。一般在黎明和黃昏之時吹奏，相當於出操和休息的信號，發音哀厲高亢，古代軍中常用來警報昏曉、高亢動人振奮士氣。了解了鎮淮樓的功能，就會理解為什麼有“鎮淮角韻”這麼一說了。

    另外，鎮淮樓“樓下置銅箱八九枚，淵淵穆穆，其色渤然，狀類合樂之祝，自高而下安置之。取以行水，金蛇吐漏，牙簽報時，以驗晷刻”。也是很有些特色的，它反映出古人的認真嚴謹和聰明智慧。在當時合肥人的心目中，鎮淮樓應該和咱們上世紀80年代的大鐘樓地位相當，其在當時合肥城的重要性由此可見一斑。