W 1390 roku Krzyżacy zaczęli budować w Bytowie murowany zamek na wzniesieniu w południowo-wschodniej części miasta. Właściwe prace budowlane przeprowadzono jednak w latach 1398-1406 pod kierunkiem Mikołaja Fellensteina. W 1410 został opanowany przez wojska Władysława Jagiełły, lecz zwrócono go Krzyżakom po I Pokoju toruńskim.
Podczas Wojny 13-letniej zamek ponownie opanowały wojska polskie, po czym król Kazimierz Jagiellończyk oddał go w 1466 w lenno księciu pomorskiemu Erykowi II. W 1500 roku otoczono warownię ziemnymi fortyfikacjami i bastejami mogącymi prowadzić ostrzał artyleryjski. W drugiej połowie XVI wieku zamek był w rękach Gryfitów, którzy w latach 1560-70 wybudowali przy skrzydle południowo-wschodnim Dom Książęcy. W XVII wieku w domu średniowiecznym umieszczono piekarnię i browar. Przy kurtynie północno-wschodniej w roku 1623 zbudowano nowy budynek zwany Domem Wdów. Niewielkie zniszczenia przyniosła warowni wojna trzydziestoletnia. Wraz ze śmiercią w 1638 roku ostatniego z Gryfitów, na mocy układu zamek przechodzi w ręce Polski i pełni rolę siedziby starosty.
W czasie wojny polsko-szwedzkiej zamek spłonął. Częściowo odbudowany po przejęciu miasta przez elektora brandenburskiego Fryderyka Wilhelma I. W XIX wieku umieszczono na zamku sąd i więzienie. Pierwsze prace konserwatorskie przeprowadzono w latach 1930-39. Ostatecznie zamek odbudowano z przerwami w latach 1957-62 i 1969-90 umieszczając w nim Muzeum Zachodniokaszubskie oraz hotel z restauracją i bibliotekę.