Pierwszy zamek w Świdwinie powstał z fundacji margrabiów brandenburskich z dynastii askańskiej pod koniec XIII wieku. Zbudowane na ich zlecenie założenie obronne składało się z obwodu warownego w formie nieregularnego trapezu oraz długiego domu mieszkalnego stojącego przy kurtynie północnej. Właściwe castrum zaczęli wznosić dopiero kolejni właściciele miasta Wedlowie na początku XIV wieku. Sprzedali oni w 1384 roku zamek zakonowi krzyżackiemu na siedzibę wójtostwa. Krzyżacy dokonali rozbudowy i przebudowy pierwotnego założenia. Na przełomie XIV i XV wieku rozebrali stary dom mieszkalny, wznieśli wschodnie skrzydło i duży ceglany budynek na siedzibę wójta przy kurtynie północnej. Wzniesiono również w tym czasie nowa bramę i wieżę przybramną. W 1445 roku zamek kupił elektor brandenburski Fryderyk II. Na początku XVI wieku przebudowano bramę i wzniesiono przedbramie.

Od 1540 roku zamek użytkowali joannici. W XVIII wieku za ich sprawą dokonano barokizacji oraz przebudowy i rozbudowy obiektu. Wzniesiono dwa nowe skrzydła i zamknięto ostatecznie dziedziniec. W 1808 roku joannicka komandoria w Świdwinie została zlikwidowana, a zamek przeszedł na własność rządu pruskiego. Przeznaczono go na siedzibę urzędów.

Po 1945 roku zamek został zdewastowany, a następnie spłonął. Został odbudowany w latach 1962-1968. Obecnie użytkowany jest przez ośrodek kultury. Co roku na zamku odbywa się konkurs poetycki im. Jana Śpiewaka.