這座宮殿建築的歷史開始於1443年，當時在施普雷河兩岸為選帝侯弗裡德裡希二世建了一座城堡。後來這座宮殿進行了改建，到16世紀時，宮殿已是一座直角形建築，邊長分別為167米和115米，高為33米。這座建築有5座大門，共4層，1283個房間。建築師泰斯從廣場方向為城堡添建了一座新的側樓，在1580~1595年選帝侯約翰·喬治期間完成了東面建築的修建工作，並建成了兩個內院。

    這個遙遠年代的建築到20世紀初時只保存下來一部分，在1699~1716年間，這一部分被納入了由安·施呂特爾、馮·該泰和貝蒙三位建築師設計的建築群。這一古老的部分在很長時間裡都是城堡東面與施普雷河右岸相鄰的優美如畫的正面。這部分中特別有趣之處是中世紀的圓形塔樓“綠冠”。

    新建的宮殿三個正面各有特色。安·施呂特爾建造的北正面給人的印象是陰暗寒冷的。但後來建造的有霍亨索倫王朝祖先青銅群像的平台沖淡了這種印象。城堡主門旁邊是羅馬皇帝塞普提米烏斯·塞維魯凱旋門的仿制品。裝飾它的是兩組青銅雕像“馴馬的騎士”(雕塑家克洛特的作品)，這是俄國沙皇尼古拉一世贈送的禮物。