Według zapisków Jana Długosza zamek został wybudowany na polecenie Kazimierza Wielkiego w latach 40. XIV wieku. Był on, podobnie jak znajdujący się powyżej okrągły stołp, zbudowany z ogólnodostępnego w okolicy wapienia. Początkowo miał on kształt zbliżony do owalu, który był otoczony grubymi na dwa metry murami obwodowymi z blankami. Na wewnętrznym dziedzińcu prawdopodobnie znajdowały się drewniane zabudowania.

W roku 1655 podczas Potopu zamek został zajęty i spalony przez wojska szwedzkie, a w 1657 roku został w znacznej części zniszczony przez siedmiogrodzkie oddziały księcia Jerzego Rakoczego. Podczas odbudowy uzupełniono zabudowę od strony zachodniej oraz wystawiono schody zewnętrzne na naroże dziedzińca.

W 1663 roku w Kazimierzu Dolnym wybuchł pożar pochłaniający większość miasta, w tym i zamek dolny.

18 marca 1831, w czasie bitwy pod Kazimierzem Dolnym powstania listopadowego, zamku bronił Batalion Celnych Strzelców Sandomierskich pod dowództwem Stanisława Krzesimowskiego. Za udział w powstaniu Adama Czartoryskiego, zamek należący wtedy do rodziny Czartoryskich, został skonfiskowany i przeszedł na własność skarbu Królestwa Polskiego.

W latach 1958-1960 na terenie ruin przeprowadzono badania archeologiczne. Zamek zabezpieczono w formie trwałej ruiny i udostępniono dla ruchu turystycznego.

Wieża, nazywana potocznie "Basztą" bądź Wieżą Łokietka, to wybudowany na przełomie XIII i XIV wieku obronny stołp. Został wzniesiony na wysokości przeprawy przez Wisłę, tzw. Przewozu Woyszyńskiego. Mieści się na szczycie wzniesienia, około 180 metrów od zamku dolnego i 19 metrów nad jego poziomem. Jego wysokość, w zależności od miejsca, sięga nawet 20 metrów, a obwód u podstawy wynosi 32,5 metra. Grubość murów wynosi 4,2 metra u podstawy i wraz z wysokością zmniejsza się do 3 metrów na szczycie.
Jedyne wejście do baszty znajduje się na wysokości sześciu metrów na poziomem gruntu. W najniższej kondygnacji mieści się loch.
Nie ma zgodności co do określenia przeznaczenia budynku. W zależności od źródła przypisywane są mu funkcje więzienia, latarni rzecznej, siedziby straży celnej, a nawet skarbca.