Zamek zaczęto budować ok. 1233, ukończono w drugiej połowie XIV w. Skrzydła południowe i wschodnie zostały rozebrane w końcu XVIII w., od tego czasu wnętrza kilkakrotnie przebudowywano na potrzeby urzędów, a w latach 1855-1875 budowlę poddano rekonstrukcji. Obecnie mieści się tutaj muzeum.

Zamek na przestrzeni dziejów był wielokrotnie przebudowywany, w zależności od różnych czynników był rozbudowywany i częściowo rozbierany. W czasie swego największego rozwoju (między XVI a XIX wiekiem) stanowił on czteroskrzydłowy, regularny kompleks z krużgankowym dziedzińcem wewnętrznym. W narożach rozbudowano regularne czteroboczne wieże, zwieńczone strzelistymi czterospadowymi dachami. Wyjątkiem pozostała wysoka (59m) wieża znajdująca się w południowo wschodnim narożu, będąca jednocześnie dzwonnicą katedry. Na przełomie XVIII i XIX wieku zamek został częściowo rozebrany przez władze pruskie. Demontaż objął dwa skrzydła: wschodnie (przylegające do katedry) i reprezentacyjne skrzydło południowe (znajdujące się od strony starego miasta) w którym znajdował się między innymi refektarz biskupi. od tego czasu zamek stracił swą zamkniętą, regularną formę.

Charakterystycznym elementem zamku jest największa na terenie państwa krzyżackiego wieża sanitarno-obronna gdanisko - usytuowana w odległości 55 metrów od zachodniego skrzydła zamku na najniższych terasach doliny wiślanej. Gdanisko jest połączone z głównym korpusem zamku najdłuższym na świecie gankiem wspartym na 5 wysokich arkadach o wysokości kilkunastu metrów. Od północy znajduje się wieża studzienna połączona dwiema arkadami z zamkiem, potocznie nazywana małym gdaniskiem.