Początkowo znajdował się tu gród drewniany strzegący przeprawy przez Drwęcę, który w 1293 roku na drodze wymiany pomiędzy biskupstwem włocławskim a Zakonem znalazł się w granicach państwa zakonnego.

W latach 1305–1311 wzniesiony z cegły jako siedziba komtura, a po wojnie trzynastoletniej siedziba starosty Ulryka Czerwonki.

Przebudowany po 1422, kiedy to dostawiono dwie okrągłe wieże od strony przedzamcza, z której zachowała się tylko jedna. W latach 1616–1623 przebudowany przez królewnę Annę Wazównę - dodano wtedy m.in. późnorenesansowe attyki i budynek na przedbramiu. Zniszczony w czasie wojen szwedzkich i w XIX wieku, kiedy w 1867 huraganowy wiatr zawalił częściowo attyki.

Po wojnie odbudowany i odrestaurowany w latach 1959–1967 oraz w trakcie kolejnych prac adaptacyjnych po roku 2006. Zamek jest odnowiony w stylu renesansowym.

W 1978 roku na zamku odbyła się jedna z pierwszych w Polsce rekonstrukcji historycznych. Zainscenizowano tam turniej rycerski. Obecnie mieści się tu muzeum, hotel i restauracja.