Gród obronny Oleśnickich wzmiankowany był przed rokiem 1238. Pierwszy zapis o zamku pochodzi z 1292. Kolejne rozbudowy i przebudowy uczyniły z niego renesansową rezydencję o nowoczesnej jak na owe czasy fortyfikacji. Najstarszą zachowaną częścią dawnej gotyckiej budowli jest wieża z końca XIII wieku, przebudowana i ozdobiona elementami sgraffitowymi oraz zwieńczona hełmem w późniejszych latach. Widoczna w górnej kondygnacji galeria z kamienną balustradą świadczy o wcześniejszym, gotyckim etapie budowy zamku. Równolegle z wieżą budowano dolną część obecnego zachodniego skrzydła zamku, gdzie wówczas był dom mieszkalny. Rozbudowa rezydencji rozpoczęła się w latach 1542-1561, a prace wykończeniowe trwały jeszcze w 1616.

Po wygaśnięciu linii Podiebradów księstwo oleśnickie przejęli Wirtembergowie i byli właścicielami zamku do 1792, a następnie Welfowie do 1884 (ostatni z Welfów – Wilhelm nie mieszkał w zamku). Podupadłe budowle stały się pod koniec XIX wieku lennem pruskim. Nowi właściciele – Hohenzollernowie zrobili gruntowną renowację zamku, który był do 1945 letnią rezydencją rodziny. Po wojnie w ocalałych budynkach przetrzymywano węgierskich i włoskich jeńców wojennych, miał siedzibę oddział radzieckiego Międzynarodowego Czerwonego Krzyża, następnie Technikum Budowlane i Centralna Szkoła Instruktorów Zuchowych ZHP. W latach 70. XX wieku przeszedł kolejną renowację i umieszczono w nim filię Muzeum Archeologicznego we Wrocławiu. Na początku lat 90. zamek opustoszał, a w 1993 rozpoczął tu działalność Ochotniczy Hufiec Pracy.