Budowę zamku w 1508 rozpoczął Mikołaj Firlej, późniejszy starosta kazimierski. Kontynuował ją jego syn, wojewoda ruski Piotr Firlej. Był to późnogotycko-renesansowy zamek obronny, ufortyfikowany przez basteje wysunięte przed linię murów. Miał możliwość prowadzenia ostrzału wzdłuż obwarowań.
W latach 1565–1585 miała miejsce przebudowa zamku w stylu późnorenesansowo-manierystycznym, którą kierował architekt włoski Santi Gucci.
Na początku XVII w., po przejęciu zamku przez rodzinę Tarłów, rozbudowano część mieszkalną i dobudowano wieżę zachodnią i wschodnią.

W roku 1606 na zamku miało miejsce pojednanie króla Zygmunta III Wazy z marszałkiem wielkim koronnym Mikołajem Zebrzydowskim, przywódcą rokoszu Zebrzydowskiego.

W dniu 7 lutego 1656 zamek został ograbiony i spalony podczas najazdu Szwedów pod dowództwem Karola Gustawa. Następnie odbudowany i rozbudowany w stylu barokowym przez rodzinę Lubomirskich, w których posiadaniu znajdował się do pierwszej połowy XVIII w. Odbudową kierował architekt holenderski Tylman z Gameren.

W 1783 Jerzy Marcin Lubomirski przegrał zamek w karty. Jego nowym właścicielem został Mikołaj Piaskowski. Jednak ani on, ani kolejni właściciele (m.in. Osławscy) nie byli w stanie utrzymać zamku. Sprzedali całe wyposażenie (nawet marmury zostały zdjęte ze ścian), a zamek został opuszczony i popadł w ruinę.

W 1931 zamek został zakupiony przez warszawiaka Leona Kozłowskiego. Wyremontował on tylko dwa pomieszczenia w baszcie, ale - co ważniejsze - powstrzymał wandali. W 1975 obiekt został zakupiony przez Muzeum Nadwiślańskie i od 1993 roku jest stopniowo remontowany.