Pierwsze informacje o istnieniu zamku pochodzą z 1235 r. Wówczas miał tu swoją siedzibę namiestnik książęcy. Zamek stanowił także miejsce postojowe w czasie podróży dla książąt wrocławskich. Około 1300 roku wzniesiona została kwadratowa, ceglana wieża, nazwana później Wieżą Lwów, gdyż na jej zwieńczeniu znajdowały się kamienne lwy. Dolna część wieży zachowała się do dziś, jako najstarsza część zamku.

W połowie XVI w. książę Jerzy II z żoną Barbarą z Hohenzollernów dokonali przebudowy obiektu na styl renesansowy, wzorując się na Zamku Królewskim na Wawelu. Z tej racji zamek jest określany mianem Śląskiego Wawelu. W latach 1554-1560 wzniesiono reprezentacyjny budynek bramy wjazdowej. Składa się ona z trzech kondygnacji. Dolna ma motyw antycznego łuku triumfalnego. Ponad łukiem fundator umieścił posągi swój i żony w rzeczywistych wymiarach oraz herby rodowe trzymane przez pary giermków. Książę zlecił także umieszczenie nad oknami pierwszego piętra dwóch rzędów popiersi swoich przodków. W 1675 r. na zamku zmarł ostatni potomek z linii Piastów śląskich, Jerzy Wilhelm i rezydencja zaczęła podupadać. Opuszczony zamek uległ niewielkim zniszczeniom w czasie ostrzału miasta przez króla pruskiego, Fryderyka II w 1741 r. Następnie zamek pełnił funkcję karczmy, koszar, magazynu. W 1922 r. usunięto z zamku magazyny i przeprowadzono drobne konserwacje: zabezpieczono Bramę Wjazdową.

W 1924 r. założono tu Muzeum Miejskie. W 1945 r. budowla została ponownie uszkodzona. W 1952 r. otwarto tu obecne muzeum. W latach 1966-1990 budowlę odbudowano na wzór stanu z XVI w. Odnowiono Bramę Wjazdową, krużganki i kilka sal.