Zamek budowano w latach 1350-1401. Prace budowlane rozpoczęto w rok po przeniesieniu z Ornety (niem. Wormditt) do Lidzbarka Warmińskiego (niem. Heilsberg) siedziby biskupów warmińskich. Rozpoczęta budowa zamku w jego pierwotnym kształcie realizowana była przez biskupów, od Hermana z Pragi do Henryka Sorboma. Budynek wzniesiono na planie czworoboku o wymiarach 48,5x48,5 m. W czasie kadencji biskupa Sorboma dziedziniec zamku otoczony został dwukondygnacyjnymi krużgankami.

Wybudowany w widłach rzek Łyny i Symsarny, zamek chroniony był dodatkowo murami obwodowymi i fosami od południa i wschodu (wschodnia fosa równoległa do Symsarny). W części południowej zamku zlokalizowano przedzamcze. Dojazd do zamku z miasta odbywał się przez Bramę Młyńską po moście przez Łynę do jakby północnego przedzamcza, gdzie umiejscowiony był młyn wodny. Dalej przejechać trzeba było wzdłuż zachodniej strony zamku przez kilka bram do przedzamcza od strony południowej. Przedzamcze to od zamku właściwego oddzielone było suchą fosą. Po przejechaniu mostu na wymienionej fosie można było się dostać na dziedziniec zamkowy przez bramę usytuowaną w centralnej części skrzydła południowego.

W czasach, gdy nie było jeszcze pałacu biskupa Wydżgi, na pomieszczenia mieszkalne wykorzystywane były pomieszczenia drugiego piętra w skrzydle zachodnim i północnym.

Obecnie większość pomieszczeń zamkowych przeznaczonych jest do zwiedzania. Prezentowane są tu zbiory sztuki gotyckiej, portrety, dokumenty związane ze słynnymi mieszkańcami zamku oraz elementy dawnego wyposażenia sal zamkowych. Na najwyższych piętrach zamku prezentowane jest malarstwo polskie z XIX i XX wieku oraz zbiór ikon, których znaczna część pochodzi z Wojnowa.